⚡ electrical engineering

Everywhere Learning: Artificial Intelligence with Pointwise Constraints

Dieses Paper führt „Everywhere Learning“ ein, ein neues KI-Paradigma, das Systeme darauf trainiert, Verlustbeschränkungen mit Wahrscheinlichkeit eins zu erfüllen, anstatt den durchschnittlichen Verlust zu minimieren, gestützt durch eine Dualitätstheorie, die zeigt, dass die Generalisierung von der Übereinstimmung zwischen der Datenverteilung und schwierigen Beschränkungspunkten abhängt, und demonstriert dies durch experimentelle Agenten-Klassifizierungen.

Ursprüngliche Autoren: Ignacio Boero, Ignacio Hounie, Luiz Chamon, Alejandro Ribeiro

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ignacio Boero, Ignacio Hounie, Luiz Chamon, Alejandro Ribeiro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Der „perfekte Schüler“ vs. der „Durchschnittsschüler“

Stellen Sie sich vor, Sie trainieren einen Schüler (eine KI), um eine Prüfung abzulegen.

Der alte Weg (Standard-KI):
Normalerweise trainieren wir KI, indem wir sie dazu bringen, die höchstmögliche Durchschnittsnote zu erzielen. Wenn der Schüler bei 99 leichten Fragen eine perfekte Punktzahl erreicht, aber bei einer einzigen schweren Frage kläglich versagt, ist sein Durchschnitt immer noch hoch. Das System sagt: „Gute Arbeit! Im Durchschnitt war das sehr gut.“

Das Problem: In der realen Welt könnte diese eine schwere Frage eine sicherheitskritische Situation sein (wie ein selbstfahrendes Auto, das einen Fußgänger nicht erkennt). Ein „guter Durchschnitt“ reicht nicht aus, wenn man in spezifischen, seltenen Situationen katastrophal versagt.

Der neue Weg (Everywhere Learning):
Dieses Paper schlägt eine neue Trainingsmethode namens Everywhere Learning vor. Anstatt sich nur um die Durchschnittsnote zu kümmern, verlangen wir vom Schüler, dass er eine Regel fast überall erfüllt.

Das Ziel: Der Schüler muss die Antwort richtig wissen (oder innerhalb einer sicheren Grenze bleiben) für jede einzelne Art von Frage, der er begegnet, nicht nur für die leichten. Wir wollen nicht, dass er eine schwere Frage „opfert“, um bei einer leichten zu glänzen.

Die Herausforderung: Die „versteckte Falle“

Die Autoren weisen auf ein kniffliges Problem hin. In der realen Welt haben wir nicht den gesamten Fragenkatalog; wir haben nur eine kleine Auswahl an Übungsfragen (Daten).

Wenn wir versuchen, die Regel „Perfektion für alle“ auf nur eine kleine Stichprobe anzuwenden, könnte die KI verwirrt werden. Sie versucht vielleicht so sehr, die wenigen seltsamen Fragen in der Stichprobe zu korrigieren, dass sie vergisst, wie man die häufigen Fragen beantwortet. Oder sie übersieht eine seltene, aber gefährliche Art von Frage völlig, weil sie in dem Übungssatz nie vorkam.

Die Arbeit stellt die Frage: Wie können wir eine KI trainieren, um überall perfekt zu sein, indem wir nur eine begrenzte Anzahl an Übwendungsbeispielen verwenden, ohne dass sie dabei „durchdreht“?

Die Lösung: Das „Sensitivitäts-Meter“ (Dualvariablen)

Um dies zu lösen, verwenden die Autoren ein mathematisches Werkzeug namens Dualvariablen. Denken Sie an diese als ein „Sensitivitäts-Meter“ oder eine „Gewichtsskala“.

Wie es funktioniert: Während des Trainings betrachtet die KI jede Übungsfrage. Wenn eine Frage einfach ist und die KI sie richtig beantwortet, bleibt das Sensitivitäts-Meter niedrig (Gewicht = 0). Wenn eine Frage schwer ist und die KI sie immer wieder falsch beantwortet, steigt das Meter hoch.
Die Erkenntnis: Das Paper stellt fest, dass dieses System nur dann gut funktioniert, wenn das Sensitivitäts-Meter nicht zu hoch wird.
- Die Analogie: Stellen Sie sich vor, Sie sind ein Lehrer, der eine Klasse bewertet. Wenn Sie entscheiden, dass die schlechte Note eines einzelnen Schülers 1.000 Mal wichtiger ist als die aller anderen, wird Ihre gesamte Bewertungsstrategie instabil. Sie würden vielleicht den gesamten Lehrplan ändern, nur um diesen einen Fehler eines einzelnen Schülers zu korrigieren. Das würde die Leistung der gesamten Klasse verschlechtern.
- Die Behauptung des Papers: Wenn das „Sensitivitäts-Meter“ (die Dualvariable) für seltene Datenpunkte zu hoch wird, kann die KI nicht zuverlässig lernen. Sie wird zu empfindlich gegenüber den wenigen Beispielen, die sie zufällig gesehen hat.

Der Fix: „Das Meter kappen“ (Sparse Relaxation)

Was passiert, wenn das Sensitivitäts-Meter doch zu hoch wird? Das Paper schlägt eine clevere Lösung vor, die Sparse Relaxation (oder „Clipping“) genannt wird.

Die Metapher: Stellen Sie sich vor, das Sensitivitäts-Meter hat einen „Maximallautstärke“-Knopf. Wenn eine Frage so schwer ist, dass das Meter versucht, mit maximaler Lautstärke zu schreien, kappen wir es einfach. Wir sagen: „Okay, wir geben unser Bestes bei dieser schweren Frage, aber wir lassen nicht zu, dass sie das gesamte System sprengt.“
Das Ergebnis: Dies ist mathematisch äquivalent zum Hinzufügen einer Strafe für das „Loslassen“ einer Einschränkung (Constraint). Die KI darf bei ein paar sehr schwierigen, seltenen Punkten versagen (die Regel lockern), muss aber bei allem anderen perfekt sein.
Warum es hilft: Durch das „Kappen“ der Sensitivität hört die KI auf, sich über seltene, seltsame Ausreißer den Kopf zu zerbrechen. Sie lernt eine glattere, allgemeinere Lösung, die für die überwältigende Mehrheit der Fälle gut funktioniert, einschließlich der seltenen Fälle, die sie tatsächlich gesehen hat.

Der Beweis: Warum es funktioniert

Die Autoren beweisen zwei Hauptpunkte:

Wenn das Sensitivitäts-Meter vernünftig ist: Kann die KI lernen, die Regeln überall zu erfüllen, selbst mit begrenzten Daten.
Wenn das Sensitivitäts-Meter extrem ist: Können wir es durch „Clipping“ vernünftig machen. Dies verwandelt das unmögliche Problem in ein lösbares Problem, bei dem die KI die Regeln nur bei einer winzigen, spärlichen Menge schwieriger Punkte lockert.

Realer Test: Der „Coding Assistant“

Um zu beweisen, dass dies funktioniert, haben die Autoren es an einer Aufgabe getestet, die Coding-Workflows betrifft (einer KI beim Schreiben von Code zu helfen).

Das Setup: Eine KI versuchte, Programmierprobleme zu lösen. Einige Probleme waren einfach; einige waren sehr schwer.
Das Ergebnis:
- Standard-KI (Durchschnitt): War großartig bei leichten Problemen, scheiterte aber schlimm an den schweren, seltenen Aufgaben.
- Everywhere Learning: War bei den einfachen Dingen etwas schlechter, wurde aber viel konsistenter. Sie hörte auf, bei den schweren Problemen massiv zu versagen.
- Die „gekapte“ Version: Als sie die „Clipping“-Korrektur anwandten, wurde die KI sogar noch stabiler. Sie schwankte nicht wild zwischen guter und schlechter Leistung hin und her, sondern blieb über verschiedene Arten von Programmieraufgaben hinweg konsistent gut.

Zusammenfassung

Dieses Paper führt eine Methode ein, um KI so zu trainieren, dass sie überall zuverlässig ist, nicht nur im Durchschnitt.

Das Problem: Standard-KI ignoriert seltene Fehler.
Die Lösung: Ein „Sensitivitäts-Meter“ verwenden, um schwierige Probleme zu gewichten.
Das Sicherheitsnetz: Wenn das Meter zu hoch wird, „kappt“ man es. Dies erlaubt der KI, eine winzige Anzahl unmöglicher Fälle zu ignorieren, damit sie den Rest meistern kann.
Das Ergebnis: Eine KI, die sicherer und konsistenter ist und nicht die Wenigen opfert, um die Vielen zufriedenzustellen.

Technisches Resümee: Everywhere Learning: Künstliche Intelligenz mit punktweisen Nebenbedingungen

Problemdefinition

Die Arbeit adressiert eine fundamentale Einschränkung der Standard-Risikominimierung (Statistical Risk Minimization, SRM), bei der KI-Systeme darauf trainiert werden, den Erwartungswert einer Verlustfunktion zu minimieren. Während dies für die Single-Objective-Optimierung effektiv ist, garantiert SRM nicht, dass spezifische Anforderungen über die gesamte Datenverteilung hinweg erfüllt werden. In der SRM kann ein Modell Bedingungen „im Durchschnitt“ erfüllen, während es in spezifischen, potenziell kritischen Regionen des Eingaberaums (z. B. seltene Ereignisse, spezifische Nutzergruppen oder sicherheitskritische Szenarien) systematisch versagt.

Die Autoren schlagen Everywhere Learning vor, ein Paradigma, bei dem KI-Systeme darauf trainiert werden, Bedingungen mit einer Wahrscheinlichkeit von eins (fast überall) über die Datenverteilung hinweg zu erfüllen. Formal gilt: Gegeben sei eine Hypothesenklasse $\mathcal{H}$ , eine Zielfunktion $\ell_0$ und eine Nebenbedingungsfunktion $\ell$ mit einem Schwellenwert $c$ , ist das Ziel, eine $f_\theta \in \mathcal{H}$ zu finden, die das erwartete Ziel minimiert unter der Bedingung:
$\ell(f_\theta(x), y) \leq c \quad D\text{-fast überall}$
Diese Formulierung trennt Ziele (was optimiert werden soll) von Anforderungen (was erfüllt sein muss) und verhindert so Trade-offs, bei denen Verletzungen in einem Bereich durch Verbesserungen in einem anderen Bereich kompensiert werden.

Methodik

1. Lernbarkeitrahmen (PACC)

Die Autoren führen die Probably Approximately Correct Constrained (PACC) Lernbarkeit ein. Im Gegensatz zum Standard-PAC-Lernen, das nur eine approximative Optimalität erfordert, verlangt PACC:

Approximative Optimalität: Der erwartete Zielfunktionsverlust liegt nahe am statistischen Optimum.
Approximative Durchführbarkeit: Die Nebenbedingung ist mit einer Wahrscheinlichkeit von mindestens $1-\epsilon$ erfüllt.

Die Arbeit zeigt, dass die gleichmäßige Konvergenz (uniform convergence) der Zielfunktions- und Nebenbedingungsverluste unzureichend ist, um PACC-Lernbarkeit zu garantieren. Ein Gegenbeispiel (Beispiel 1) zeigt, dass selbst wenn die Verluste gleichmäßig konvergieren, das Problem unlernbar bleiben kann, wenn die optimale Lösung extrem sensitiv auf Regionen des Eingaberaums reagiert, die in endlichen Stichproben unwahrscheinlich erscheinen.

2. Duales Lernen und Sensitivität

Um die Unzulänglichkeit der gleichmäßigen Konvergenz zu adressieren, verlagern die Autoren den Fokus auf den dualen Bereich. Sie definieren eine Lagrange-Multiplikator-Funktion $\lambda(z)$ , die die Verletzung der Nebenbedingungen an jedem Stichpunkt $z$ gewichtet.

Duale Lernbarkeit: Das Papier definiert eine Bedingung, unter der das duale Problem aus endlichen Stichproben gelöst werden kann.
Zentrale Erkenntnis: Der optimale Multiplikator $\lambda^*(z)$ misst die Sensitivität des eingeschränkten Optimums gegenüber Störungen der Nebenbedingung bei $z$ , normiert durch die Wahrscheinlichkeit, $z$ zu beobachten.
Hinreichende Bedingung: Die Autoren beweisen, dass die Beschränktheit des optimalen Multiplikators in der $L^\infty$ -Norm ( $\|\lambda^*\|_\infty \leq \gamma$ ) eine hinreichende Bedingung für duale Lernbarkeit ist. Ist $\lambda^*$ unbeschränkt, impliziert dies, dass das Problem übermäßig sensitiv auf Regionen mit geringer Wahrscheinlichkeit reagiert, was eine Lernbarkeit aus endlichen Stichproben ohne zusätzliche Regularisierung unmöglich macht.

3. Spärliche Relaxation der Nebenbedingungen

In Anerkennung dessen, dass die Beschränktheitsbedingung in der Praxis möglicherweise nicht hält, schlagen die Autoren eine fundierte Relaxationsstrategie vor:

Dualer Bereich: Beschränkung der dualen Variablen auf eine beschränkte $L^\infty$ -Norm.
Primale Interpretation: Diese Beschränkung ist äquivalent zur Einführung einer $L_1$ -penalisierten Relaxation der punktweisen Nebenbedingungen. Dies begünstigt, dass die Relaxation (der Slack) spärlich (sparse) ist, was bedeutet, dass Nebenbedingungen nur in einer begrenzten Teilmenge von Stichproben verletzt werden, in denen es notwendig ist.
Implementierung: Dies kann einfach durch das Clipping der empirischen dualen Variablen während des Trainings realisiert werden, ohne explizit Slack-Variablen einführen zu müssen.

4. Primale Rekonstruktion

Die Arbeit analysiert, wie sich die duale Lernbarkeit zurück auf die primale Lernbarkeit überträgt:

Konvexer Kontext: Unter starker Dualität (konvexe Hypothesenklasse und Verluste) liefert das Lösen des empirischen dualen Problems dieselben statistischen Garantien wie das Lösen des empirischen primalen Problems.
Nicht-konvexer Kontext (Moderne KI): Für nicht-konvexe Parametrisierungen (z. B. neuronale Netze) etablieren die Autoren eine Near-PACC-Lernbarkeit. Die Optimalitätslücke wird durch die Dualitätslücke kontrolliert, welche davon abhängt, wie gut die Hypothesenklasse ihr konvexes Hull approximiert. Sie zeigen, dass selbst in nicht-konvexen Settings ein Lagrangian-Minimierer existiert, der Near-PACC-Garantien erfüllt, wobei der Fehlerterm von der empirischen Komplementär-Slackness abhängt.

Zentrale Beiträge

Paradigmenwechsel: Formalisierung von „Everywhere Learning“ als distinktes Paradigma von SRM, welches punktweise Nebenbedingungen erzwingt statt erwarteter Nebenbedingungen.
Theoretische Limitation: Beweis, dass die gleichmäßige Konvergenz von Verlusten für das Constrained Learning unzureichend ist; die Lernbarkeit hängt vom Mismatch zwischen der Datenverteilung und der Konzentration des optimalen dualen Multiplikators ab.
Theorie der dualen Lernbarkeit: Etablierung der Beschränktheit des optimalen dualen Multiplikators in der $L^\infty$ -Norm als hinreichende Bedingung für Lernbarkeit.
Strategie der spärlichen Relaxation: Vorschlag und theoretische Rechtfertigung einer $L_1$ -penalisierten Relaxation (implementiert via Dual-Variable-Clipping), um die Lernbarkeit in Fällen zu gewährleisten, in denen das natürliche Problem schlecht gestellt ist.
Generalisierungsschranken: Bereitstellung von PACC- und Near-PACC-Generalisierungsschranken für sowohl konvexe als auch nicht-konvexe Hypothesenklassen, wobei die Verbindung zwischen der Dualitätslücke und der Approximationsreichweite des Modells hergestellt wird.

Experimentelle Ergebnisse

Die Autoren validieren ihre Theorie mittels einer binären Klassifikationsaufgabe auf dem FloraBench-Datensatz (Agentic Workflow Optimization).

Setup: Das Modell minimiert den durchschnittlichen binären Cross-Entropy-Verlust (ERM), während es eine punktweise Nebenbedingung auf den Cross-Entropy-Verlust erzwingt.
Ergebnisse:
- Tail-Performance: Punktweise Nebenbedingungen reduzieren die Anzahl der Stichproben mit sehr hohen Verlusten (Tail-Losses) im Vergleich zu ERM signifikant, was zu einer gleichmäßigeren Performance über verschiedene Datenquellen (MBPP vs. HumanEval) führt.
- Dual Clipping: Die Anwendung des vorgeschlagenen Dual Clippings (spärliche Relaxation) reduziert die Varianz des Testverlusts und der Genauigkeit über verschiedene Random Seeds hinweg.
- Duale Variablen: Die Methode weist automatisch höhere duale Variablen für „schwierige“ Stichproben zu (z. B. unterrepräsentierte Aufgaben), wodurch die Trainingsverteilung effektiv umgewichtet wird, um sich auf schwierige Nebenbedingungen zu konzentrieren.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Durchsetzung punktweiser Nebenbedingungen für den Einsatz moderner KI essenziell ist, wo Sicherheit und Zuverlässigkeit nicht durch Durchschnittswerte (Average-Case Performance) gefährdet werden dürfen. Die Autoren argumentieren:

Standard-Erweiterungen von SRM (gewichtete Summen von Verlusten) scheitern, da sie Trade-offs zwischen Anforderungen zulassen.
Theoretische Garantien für das Constrained Learning erfordern eine Analyse der dualen Sensitivität, die über die gleichmäßige Konvergenz hinausgeht.
Die vorgeschlagene spärliche Relaxation (via Dual Clipping) bietet einen praktischen, fundierten Weg für Fälle, in denen strikte punktweise Nebenbedingungen für das Lernen aus endlichen Stichproben zu starr sind, und verbessert die Generalisierung, ohne die Kernphilosophie des „Everywhere“ zu opfern.

Die Arbeit schließt die Lücke zwischen der Theorie der constrained Optimierung und dem statistischen Lernen, indem sie einen Rahmen schafft, um sicherzustellen, dass KI-Systeme Anforderungen über die gesamte Datenverteilung hinweg erfüllen, nicht nur im Erwartungswert.