📊 statistics

Adaptivity Under Realizability Constraints: Comparing In-Context and Agentic Learning

Dieser Artikel zeigt, dass zwar Adaptivität die Approximationsleistung niemals beeinträchtigt, der spezifische Vorteil adaptiven (agentenbasierten) Lernens gegenüber festem Abfragemodell (Kontextlernen) jedoch in vier unterschiedlichen Szenarien variiert, je nachdem, ob die Operationen uneingeschränkt sind oder durch die Realisierbarkeit durch ReLU-Neuronale Netze eingeschränkt werden.

Ursprüngliche Autoren: Anastasis Kratsios, A. Martina Neuman, Philipp Petersen

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anastasis Kratsios, A. Martina Neuman, Philipp Petersen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine geheime Karte zu erraten, die in einem großen, dunklen Raum verborgen ist. Sie haben eine begrenzte Anzahl von „Taschenlampen" (Abfragen), um auf den Boden zu scheinen und die Anordnung zu ermitteln. Der Artikel vergleicht zwei Arten, diese Taschenlampen einzusetzen:

Der „Feste Plan" (In-Context-Lernen): Sie entscheiden genau, wo Sie Ihre Taschenlampen hinrichten, bevor Sie den Raum betreten. Sie können Ihre Meinung nicht basierend auf dem, was Sie sehen, ändern.
Der „Adaptive Agent" (Agentic Learning): Sie scheinen mit einer Taschenlampe, schauen, was Sie sehen, und entscheiden dann, wo Sie die nächste Taschenlampe hinrichten, basierend auf dieser Information.

Die Autoren stellen eine einfache Frage: Ist der „Adaptive Agent" immer besser? Und noch wichtiger: Hält dieser Vorteil stand, wenn wir den Agenten zwingen, mit einem spezifischen, begrenzten Typ von „Gehirn" gebaut zu werden (ein ReLU-Neuronales Netz, das ein Standardbaustein für moderne KI ist)?

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit alltäglichen Analogien:

Die zwei Welten

Der Artikel testet diese Methoden in zwei verschiedenen „Universen":

Die „Magische Welt" (Unbeschränkt): Der Lerner kann jede denkbare mathematische Funktion sein. Er verfügt über unbegrenzte Rechenleistung und keine Grenzen, wie er denkt.
Die „Realistische Welt" (Realisierbar): Der Lerner muss mit einem spezifischen, begrenzten Werkzeugkasten gebaut werden (ReLU-Neuronale Netze). Das ist wie der Versuch, einen Roboter aus Lego-Steinen statt aus Magie zu bauen.

Die vier Szenarien

Die Autoren entdeckten, dass die Antwort auf „Ist adaptives Lernen besser?" vollständig von der Aufgabe und dem Werkzeugkasten abhängt. Sie fanden vier distincte Ergebnisse:

1. Das „Kein Unterschied"-Szenario

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine einzelne, einfache Zahl zu erraten (wie „5").
Das Ergebnis: Ob Sie Ihre Vermutungen im Voraus planen oder sich anpassen, während Sie vorgehen, ist egal. Wenn die Aufgabe einfach genug ist, funktioniert ein fester Plan genauso gut wie ein adaptiver.
Behauptung des Artikels: Für sehr einfache Aufgaben (Einzelaufgaben-Familien) bietet Adaptivität keinen Vorteil.

2. Das „Adaptivität gewinnt, selbst mit Grenzen"-Szenario

Die Analogie: Stellen Sie sich ein „Whac-A-Mole"-Spiel vor, bei dem sich der Maulwurf in einer spezifischen Sequenz von Löchern versteckt.

Fester Plan: Sie müssen alle Löcher im Voraus erraten. Wenn Sie die Sequenz verpassen, scheitern Sie.
Adaptiver Agent: Sie schlagen ein Loch, sehen, wie der Maulwurf herauskommt, und wissen sofort genau, wo Sie als Nächstes schlagen müssen.
Das Ergebnis: Der adaptive Agent gewinnt leicht. Selbst wenn Sie den Agenten zwingen, ein „Lego-Gehirn" (ReLU-Netz) zu verwenden, kann er die Sequenz schrittweise herausfinden.
Behauptung des Artikels: Für „würfelpfad"-Aufgaben offenbart Adaptivität strikt mehr Informationen, und dieser Vorteil bleibt bestehen, selbst wenn der Lerner auf Standard-Neuronale Netze beschränkt ist.

3. Das „Adaptivität gewinnt nur mit Grenzen"-Szenario

Die Analogie: Stellen Sie sich eine Schatzsuche vor, bei der die Karte in einem Code geschrieben ist, der extrem schwer zu knacken ist (eine „schwere Berechnung").

Magische Welt: Sowohl der Feste Plan als auch der Adaptive Agent sind „magisch". Beide können den Code sofort knacken. Also Unentschieden.
Realistische Welt (Lego-Gehirn): Jetzt steckt der „Feste Plan"-Lerner fest. Er muss den gesamten komplexen Code in seinem Kopf tragen, um das Rätsel zu lösen. Sein „Lego-Gehirn" ist zu klein, um den Code zu halten, also scheitert er.
- Der Adaptive Agent ist jedoch clever. Er muss den Code nicht tragen. Er kann seine ersten paar Taschenlampen nutzen, um einen „Schlüssel" (einen bestimmten Ort) zu finden, der die Antwort direkt freischaltet. Er umgeht die Notwendigkeit, die schwere Mathematik intern durchzuführen.
  Das Ergebnis: In der magischen Welt sind sie gleich. In der realistischen Welt gewinnt der adaptive Agent, weil er die harte Arbeit „outsourcen" kann, indem er die richtige Frage stellt, während der feste Planer die harte Arbeit selbst leisten muss.
  Behauptung des Artikels: Für „spitzenwert"-Aufgaben entsteht ein Vorteil durch Adaptivität nur, wenn der Lerner durch eine begrenzte Größe des neuronalen Netzes eingeschränkt ist.

4. Das „Adaptivität verliert unter Grenzen"-Szenario

Die Analogie: Stellen Sie sich ein „Wo ist Waldo?"-Spiel vor, aber Waldo's Standort wird durch eine superkomplexe Formel bestimmt, die auf den anderen Charakteren im Bild basiert.

Magische Welt: Der Adaptive Agent betrachtet das Bild, führt die superkomplexe Formel in seinem unendlichen Gehirn aus, findet Waldo's exakten Ort und richtet dort die Taschenlampe aus. Er gewinnt.
Realistische Welt (Lego-Gehirn): Der Adaptive Agent versucht, diese superkomplexe Formel auszuführen, um Waldo zu finden. Aber sein „Lego-Gehirn" ist zu klein, um die Formel zu berechnen. Er bleibt stecken.
- Der Feste Plan-Lerner, der erkennt, dass er die Formel nicht berechnen kann, richtet seine Taschenlampen einfach überall zufällig (oder in einem festen Muster) aus. Da der Adaptive Agent ebenfalls stecken bleibt und Waldo nicht finden kann, scheitern beide gleich.
  Das Ergebnis: In der magischen Welt ist Adaptivität ein riesiger Gewinn. In der realistischen Welt verschwindet der Vorteil, weil der adaptive Agent den „nächsten Schritt" nicht schnell genug berechnen kann.
  Behauptung des Artikels: Für „adress-spitzen"-Aufgaben bietet Adaptivität theoretisch einen massiven Vorteil, aber dieser Vorteil verschwindet, wenn der Lerner auf ein Standard-Neuronales Netz beschränkt ist, weil der „nächste Schritt" zu schwer zu berechnen ist.

Die große Erkenntnis

Der Artikel kommt zu dem Schluss, dass Adaptivität keine Wunderwaffe ist.

Manchmal hilft sie, manchmal nicht.
Entscheidend ist: Einschränkungen zählen. Was in einer theoretischen, unbegrenzten Welt wie eine Superkraft aussieht, kann zu einer Schwäche oder einer nutzlosen Eigenschaft werden, wenn Sie das System mit echten, begrenzten Werkzeugen bauen müssen (wie aktuellen KI-Modellen).

Die Autoren zeigen, dass die Interaktion zwischen „wie Sie Fragen stellen" (Adaptivität) und „welche Werkzeuge Sie verwenden, um sie zu beantworten" (Einschränkungen neuronaler Netze) eine komplexe Landschaft schafft, in der sich die beste Strategie je nach spezifischem Problem ändert.

Technische Zusammenfassung: Adaptivität unter Realisierbarkeitsbedingungen

Problemstellung

Dieses Papier untersucht die theoretischen Grenzen des In-Context-Lernens (ICL) im Vergleich zum agenticen Lernen im Kontext der gleichmäßigen Approximation von Funktionenfamilien. Die zentrale Frage lautet: Wann bietet eine sequenzielle, adaptive Interaktion mit einer Aufgabe einen echten Vorteil gegenüber festen, vorab spezifizierten Abfragen, und wie verändert sich dieser Vorteil, wenn der Lernmechanismus durch Realisierbarkeit eingeschränkt ist (speziell durch die Implementierung mittels ReLU-Neuronaler Netze mit begrenzter Größe)?

Die Autoren formalisieren zwei Vergleichsachsen:

Abfragestrategie: Feste Abfragen (In-Context) vs. Adaptive Abfragen (Agentic).
Darstellungsbeschränkung: Allgemeine Funktionen (unbeschränkt) vs. ReLU-realisierbare Funktionen (implementiert durch ReLU-Netze mit begrenzter Größe).

Dies ergibt vier verschiedene Regime:

ICG: Allgemeines In-Context-Lernen.
AG: Allgemeines agentices Lernen.
ICR: ReLU-realisierbares In-Context-Lernen.
AR: ReLU-realisierbares agentices Lernen.

Das Ziel ist es, die Approximationskraft dieser Regime untereinander bei gleichen Stichproben- und Rechenbudgets zu charakterisieren.

Methodik

Die Autoren übernehmen ein Gleichmäßigkeits-Approximationsframework über einem kompakten Bereich $X \subseteq \mathbb{R}^d$ . Sie definieren eine Aufgabenfamilie $\mathcal{T}$ und messen die Leistung über den Worst-Case-Fehler der Gleichmäßigkeit ( $L_\infty$ -Norm).

Definitionen

In-Context-Lerner ( $\Psi_{IC}$ ): Verwendet eine feste Menge von $N$ Abfragepunkten $x_1, \dots, x_N$ und einen Prädiktor, der den Kontext $C_N = \{(x_i, f(x_i))\}$ und einen neuen Eingabewert $x$ auf eine Vorhersage abbildet.
Agenticer Lerner ( $\Psi_{A}$ ): Wählt Abfragepunkte sequenziell aus. Der $n$ -te Abfragepunkt $x_n$ wird durch eine Abbildung $q_n$ basierend auf dem vorherigen Kontext $C_{n-1}$ bestimmt.
Realisierbarkeit: Ein Lerner ist „realisierbar", wenn seine Abfrageabbildungen und sein finaler Prädiktor durch ReLU-Neuronale Netze mit einer begrenzten Anzahl von Gewichten ( $m$ ) implementiert sind.

Vergleichsmetrik

Das Papier definiert eine Relation $R_1 \leq R_2$ , wenn für jede Aufgabenfamilie und jedes Budget der Worst-Case-Fehler des Regimes $R_2$ nicht größer ist als der von $R_1$ . Eine strenge Ungleichung ( $R_1 < R_2$ ) zeigt einen strengen Vorteil an.

Die Autoren etablieren die grundlegende Monotonie:
$ICG \leq AG \quad \text{und} \quad ICR \leq AR$
Dies gilt, da ein Agent immer wählen kann, die Adaptivität zu ignorieren und eine feste Abfragestrategie nachzuahmen. Der Kernbeitrag liegt darin, zu identifizieren, wann diese Ungleichungen streng sind und wie Realisierbarkeit sie verändert.

Hauptbeiträge und Ergebnisse

Das Papier isoliert vier verschiedene Approximationsszenarien, die jeweils durch eine explizit konstruierte Aufgabenfamilie demonstriert werden. Diese Szenarien zeigen, dass die Interaktion zwischen Adaptivität und darstellungsbezogenen Beschränkungen nicht trivial ist.

1. Adaptivität enthüllt mehr Informationen (Vorteil übersteht Realisierbarkeit)

Aufgabenfamilie: Weg-Aufgaben in Würfeln ( $\mathcal{T}^{path}_{d,L}$ ). Aufgaben werden durch eine verschachtelte Folge dyadischer Würfel definiert.
Mechanismus: Ein adaptiver Agent kann eine binäre Suche (in 1D) oder eine generalisierte Suche durchführen, um den verborgenen Pfad der Würfel Ebene für Ebene zu identifizieren.
Ergebnis:
- Allgemein: $ICG < AG$. Feste Abfragen verpassen Informationen, die adaptive Abfragen sequenziell aufdecken können.
- Realisierbar: $ICR < AR$. Die adaptive Strategie (Abfragen der Zentren von Kindwürfeln und Verwendung von Residuen) kann exakt durch ReLU-Netze implementiert werden.
Implikation: In diesem Szenario ist der informationstheoretische Vorteil der Adaptivität gegenüber den Beschränkungen von ReLU-Netzen robust.

2. Realisierbarkeit erzeugt Adaptivitätsvorteil

Aufgabenfamilie: Familie der spitzwertigen Werte ( $\mathcal{T}^{val}_{N,m}$ ). Aufgaben bestehen aus festen „Hüten" an bekannten Orten mit Koeffizienten und einem „beweglichen Hut" an einem Ort $q^*$ mit einem Wert $g_m(s)$ , wobei $g_m$ eine schwer zu approximierende Funktion ist.
Mechanismus:
- Allgemein: $ICG = AG$. Sowohl feste als auch adaptive Lerner können den Ort $q^*$ aus dem Kontext ablesen und dann $g_m(s)$ berechnen (da sie unbeschränkt sind).
- Realisierbar: $ICR < AR$. Ein ReLU-In-Context-Lerner muss intern die schwierige Abbildung $s \mapsto g_m(s)$ approximieren, was mit begrenzten Gewichten unmöglich ist. Ein ReLU-Agent kann jedoch den Wert $g_m(s)$ direkt am Ort $q^*$ abfragen (den er adaptiv bestimmt hat) und umgeht so die Notwendigkeit einer internen Berechnung.
Implikation: Realisierbarkeitsbeschränkungen können ein Szenario erschaffen, in dem Adaptivität strikt überlegen ist, selbst wenn sie im unbeschränkten Setting keinen Vorteil bietet.

3. Adaptivitätsvorteil durch Realisierbarkeit beseitigt

Aufgabenfamilie: Adress-Spike-Familie ( $\mathcal{T}^{addr}_{N,m}$ ). Ähnlich der Familie der spitzwertigen Werte, aber der Ort des beweglichen Huts $q^*(s)$ wird durch eine schwer zu approximierende Funktion $g_m(s)$ bestimmt. Das verborgene Bit $\beta$ befindet sich an $q^*(s)$ .
Mechanismus:
- Allgemein: $ICG < AG$. Ein unbeschränkter Agent kann $q^*(s)$ aus den statischen Koeffizienten berechnen und das verborgene Bit abfragen.
- Realisierbar: $ICR = AR$. Um den informativen Abfragepunkt $q^*(s)$ zu finden, muss der Agent die schwierige Abbildung $s \mapsto q^*(s)$ approximieren. Da die Abfrageabbildungen des Agents ebenfalls auf ReLU-Netze mit begrenzten Gewichten beschränkt sind, kann er den Ort nicht besser berechnen als der In-Context-Lerner. Die „schwere Berechnung", die erforderlich ist, um zu bestimmen, wo abgefragt werden soll, hebt den Vorteil der Adaptivität auf.
Implikation: Darstellungsbeschränkungen können den Vorteil der Adaptivität, der im allgemeinen Setting existiert, eliminieren.

4. Kein Vorteil

Szenario: Für Singleton-Aufgabenfamilien oder spezifische triviale Fälle bringt Adaptivität keine Verbesserung ($ICG = AG$ und $ICR = AR$).

Bedeutung und Behauptungen

Das Papier behauptet, eine konzeptionelle Klassifizierung zu liefern, wie Adaptivität mit architektonischen Beschränkungen interagiert. Die primäre Bedeutung liegt in der Demonstration, dass:

Adaptivität nicht universell überlegen ist: Ihr Nutzen hängt von der spezifischen Struktur der Aufgabenfamilie und den Rechenfähigkeiten des Lerners ab.
Realisierbarkeit eine kritische Variable ist: Der Übergang von unbeschränkten zu ReLU-realisierbaren Settings skaliert die Leistung nicht nur; er verändert qualitativ die Beziehung zwischen In-Context-Lernen und agenticem Lernen.
- Vorteile können überleben (Weg-Aufgaben in Würfeln).
- Vorteile können entstehen (Familie der spitzwertigen Werte).
- Vorteile können verschwinden (Adress-Spike-Familie).

Die Autoren betonen, dass diese Ergebnisse aus der Worst-Case-Gleichmäßigkeits-Approximationstheorie abgeleitet sind und die Kernphänomene der Informationsgewinnung und darstellungsbezogenen Kapazität isolieren, ohne sich auf statistische Annahmen oder Rauschmodelle zu verlassen. Sie weisen ferner darauf hin, dass ihre Ergebnisse auf Transformer-Architekturen durch eine kanonische Umwandlung von ReLU-MLPs erweitert werden können, was nahelegt, dass diese theoretischen Grenzen auch für moderne große Sprachmodelle gelten.

Die Arbeit erweitert klassische Ergebnisse zur nicht-adaptiven Approximation durch MLPs und argumentiert, dass die Struktur der Informationsgewinnung (Adaptivität) neben der Komplexität der Funktionsklasse eine zentrale Rolle bei der Bestimmung der Lerngrenzen spielt.