📊 statistics

Learning to Extrapolate to New Tasks: A Relational Approach to Task Extrapolation

Das Papier stellt den Relational Task Extrapolator (RTE) vor, einen Algorithmus, der eine systematische Generalisierung auf unbekannte Aufgaben ermöglicht, indem er relationale Transformationen zwischen bekannten Ankeraufgaben und Zielaufgaben lernt, wodurch er bestehende Methoden in Szenarien der Funktions- und Sequenzvorhersage mit Parametern außerhalb des Bereichs, erhöhter Tiefe oder neuen Kombinationen übertrifft.

Ursprüngliche Autoren: Adam Ousherovitch, Yixin Wang

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adam Ousherovitch, Yixin Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine Kanone auf Ziele zu schießen.

Das Problem: Die Falle der „Sicherheitszone"
Derzeit sind die meisten KI-Modelle wie Schüler, die nur für eine Prüfung lernen, indem sie spezifische Fragen auswendig lernen. Wenn Sie sie eine Frage stellen, die sie bereits gesehen haben oder die sehr ähnlich ist, erhalten sie eine Eins. Aber wenn Sie sie eine Frage stellen, die sich geringfügig unterscheidet – etwa indem Sie sie bitten, ein Ziel zu treffen, das 10 % weiter entfernt ist als alles, was sie je geübt haben –, scheitern sie oft völlig.

Selbst die intelligenteste moderne KI (wie die, die Code schreibt oder mit Ihnen chattet) hat damit zu kämpfen. Sie sind hervorragend im „Interpolieren" (Lücken zwischen dem, was sie wissen, füllen), aber schlecht im „Extrapolieren" (Raten, was außerhalb der Grenzen ihres Trainings passiert). Sie verlassen sich auf auswendig gelernte Muster, anstatt die zugrunde liegenden Regeln zu verstehen, wie die Welt funktioniert.

Die Lösung: Der „Relationale Aufgaben-Extrapolator" (RTE)
Die Autoren dieses Papers schlagen eine neue Art vor, KI zu unterrichten, die RTE genannt wird. Anstatt zu versuchen, jedes mögliche Ziel auswendig zu lernen, lehrt RTE die KI zu verstehen, wie sich Aufgaben ineinander verwandeln.

Stellen Sie es sich so vor:

Der alte Weg (Induktiv): Die KI versucht, den exakten Weg eines Kanonenballs zu memorieren, der mit 30 mph, 40 mph und 50 mph abgefeuert wurde. Wenn sie aufgefordert wird, mit 65 mph zu feuern, gerät sie in Panik, weil sie keine Daten für diese Geschwindigkeit hat.
Der neue Weg (RTE/Relational): Die KI lernt die Beziehung zwischen Geschwindigkeiten. Sie erkennt: „Wenn ich die Geschwindigkeit um 10 mph erhöhe, fliegt der Kanonenball 20 % weiter."
- Zum Testzeitpunkt, wenn sie aufgefordert wird, ein Ziel mit 65 mph zu treffen, rät die KI nicht von Grund auf neu. Stattdessen sagt sie: „Okay, ich weiß, wie man ein Ziel mit 60 mph trifft (das ist mein Anker). Ich kenne auch die Transformation (die Regel), die einen 60-mph-Schuss in einen 65-mph-Schuss verwandelt. Ich werde diese Regel auf mein 60-mph-Wissen anwenden, um das 65-mph-Problem zu lösen."

Wie es funktioniert: Die „Anker und Verschiebung"-Strategie
Das Paper zerlegt dies in drei Hauptszenarien, wobei einfache Analogien verwendet werden:

Parameter-Extrapolation (Ändern der Einstellungen):
- Analogie: Stellen Sie sich vor, Sie wissen, wie man einen Kuchen mit 1 Tasse Zucker backt. Sie möchten einen mit 1,5 Tassen backen.
- RTE-Ansatz: Anstatt das Backen von Grund auf neu zu lernen, nimmt die KI den „1-Tassen-Kuchen" (den Anker) und wendet eine „plus 0,5 Tassen"-Regel (die Transformation) an, um das neue Ergebnis vorherzusagen.
Längen-Extrapolation (Es länger machen):
- Analogie: Sie wissen, wie man einen Satz mit 5 Wörtern schreibt. Sie müssen einen mit 9 Wörtern schreiben.
- RTE-Ansatz: Die KI nimmt den 5-Wort-Satz (Anker) und lernt die „4 weitere Wörter hinzufügen"-Regel (Transformation), um ihn zu erweitern, anstatt zu versuchen, jeden möglichen 9-Wort-Satz auswendig zu lernen.
Kompositionelle Extrapolation (Mischen und Kombinieren):
- Analogie: Sie wissen, wie man einen Apfel schält und wie man eine Banane schneidet. Sie haben noch nie jemanden gesehen, der einen Apfel schneidet oder eine Banane schält.
- RTE-Ansatz: Die KI erkennt, dass die Aufgabe einfach nur „Schälen" + „Schneiden" ist. Sie nimmt die „Schälen"-Fähigkeit (Anker) und wendet die „Schneiden"-Regel (Transformation) auf den Apfel an, obwohl sie diese spezifische Kombination noch nie zuvor durchgeführt hat.

Das Geheimnis: „Task2Vec" (Die Karte)
Damit dies funktioniert, benötigt die KI eine Karte, um die richtige „Anker"-Aufgabe zu finden. Das Paper verwendet ein Werkzeug namens Task2Vec.

Stellen Sie sich vor, jede mögliche Aufgabe (jede Art von Kuchen, jede Satzlänge, jede Buchstabenfolge) ist eine Stadt auf einer Karte.
Ähnliche Aufgaben liegen nah beieinander; unterschiedliche Aufgaben liegen weit auseinander.
Wenn die KI eine neue, schwierige Aufgabe hat, schaut sie auf ihre Karte, findet die nächste Stadt, die sie bereits besucht hat (den Anker), und berechnet die Richtung und Entfernung zur neuen Stadt (die Transformation).

Was sie fanden
Die Forscher testeten dies an:

Mathematischen Funktionen: Vorhersage von Kurven außerhalb des Zahlenbereichs, für den die KI trainiert wurde.
Polynomen: Vorhersage von Gleichungen hohen Grades unter Verwendung solcher niedrigeren Grades.
Sprachmodellen (LLMs): Verbesserung großer Sprachmodelle bei Logikrätseln und Code-Generierung, die länger oder komplexer waren als das, was sie während des Trainings sahen.

Die Ergebnisse
Bei jedem Test übertraf die RTE-Methode Standard-KI-Modelle erheblich.

Standardmodelle stießen an eine „Mauer" und scheiterten, wenn die Aufgabe zu unterschiedlich zu ihrem Training war.
RTE-Modelle navigierten die Mauer erfolgreich, indem sie den „Anker + Transformation"-Trick anwendeten.

Wichtige Einschränkungen (Was das Paper sagt)
Das Paper weist sorgfältig darauf hin, dass RTE keine Magie ist. Es funktioniert nur, wenn:

Die neue Aufgabe mit den alten verwandt ist (man kann die KI nicht bitten, ein Problem mit einer völlig fremden Physik zu lösen, die in ihren Trainingsdaten nicht existiert).
Die KI in der Lage sein muss, eine gute „Anker"-Aufgabe zu finden, von der aus sie starten kann.

Zusammenfassung
Dieses Paper stellt eine Methode vor, um die KI davon abzubringen, nur die Vergangenheit auswendig zu lernen, und beginnt, ihr zu helfen, die Regeln des Wandels zu verstehen. Indem man der KI beibringt zu sagen: „Ich weiß, wie man X macht, und ich weiß, wie X sich in Y verwandelt", kann das System Probleme lösen, die es noch nie gesehen hat, vorausgesetzt, diese Probleme sind aus denselben Bausteinen aufgebaut, die es bereits kennt.

Technische Zusammenfassung: Lernen zur Extrapolation auf neue Aufgaben: Ein relationaler Ansatz zur Aufgabenextrapolation

1. Problemstellung

Moderne Lernsysteme, einschließlich großskaliger Basis-Modelle, sind im Interpolieren innerhalb der Unterstützung ihrer Trainingsverteilung hervorragend, haben jedoch Schwierigkeiten, auf Aufgaben zu verallgemeinern, die außerhalb dieser Unterstützung liegen (out-of-support oder OOS). Dieses Versagen persistiert sogar in strukturierten Settings, wie etwa beim Vorhersagen von Funktionen mit Parametern jenseits des Trainingsbereichs, bei zunehmender kompositioneller Tiefe oder beim Rekombinieren bekannter Primitiven auf unvorhergesehene Weise. Aktuelle Modelle verlassen sich häufig auf Heuristiken, die an die Trainingsverteilung gebunden sind, statt die generativen Mechanismen eines Bereichs zu internalisieren, was zu einer Sättigung an den Grenzen ihrer Erfahrung führt.

Der Artikel definiert Aufgabenextrapolation als Verallgemeinerung auf Zielaufgaben, bei denen die aufgabendefinierende Struktur selbst außerhalb der Trainingsunterstützung liegt. Im Gegensatz zur Standard-Out-of-Distribution- oder Längenverallgemeinerung, bei der Testeingaben Vereinigungen oder Erweiterungen von Trainingseingaben sind, erfordert Aufgabenextrapolation das Nachdenken über die Transformation der Aufgabenstruktur selbst. Die Autoren gehen davon aus, dass zwar die Extrapolation auf beliebige unvorhergesehene Aufgaben schlecht gestellt ist, viele reale Aufgaben jedoch systematisch durch gemeinsame, unbekannte Strukturen miteinander verbunden sind.

2. Methodik: Der Relationale Aufgabenextrapolator (RTE)

Der Kernvorschlag ist der Relationale Aufgabenextrapolator (RTE), ein Algorithmus, der Extrapolation als transduktives Problem neu fasst. Die zentrale Beobachtung ist, dass Extrapolation inhärent relational ist: Der Erfolg hängt davon ab, zu lernen, wie Aufgaben ineinander transformiert werden.

2.1. Kernmechanismus

RTE zerlegt eine unvorhergesehene Zielaufgabe $f_{\theta^*}$ in zwei während des Trainings beobachtete Komponenten:

Eine Anker-Aufgabe ( $f_{anc}$ ): Eine vertraute Aufgabe innerhalb der Trainingsverteilung.
Eine Transformation ( $\phi$ ): Ein relativer Deskriptor, der den Anker mit dem Ziel verbindet (z. B. eine Parameter-Verschiebung, ein rekursiver Erweiterungsschritt oder ein Kompositionsoperator).

Anstatt eine direkte Abbildung von Aufgabenparametern auf Ausgaben zu lernen, lernt RTE einen relationalen Operator $\Psi$ , der ein Anker-Transformations-Paar auf Vorhersagen für die Zielaufgabe abbildet:
$\hat{y} = \Psi(x, f_{anc}, \phi)$
Dies reduziert das schwierige OOS-Extrapolationsproblem in ein handhabbareres Out-of-Combination (OOC)-Problem. Sowohl der Anker als auch die Transformation werden individuell in den Trainingsdaten beobachtet, auch wenn ihre spezifische Kombination neu ist.

2.2. Drei Extrapolationsregime

Die Autoren implementieren RTE in drei kanonischen Regimen:

Parameterextrapolation (Kontinuierlich): Aufgaben werden durch kontinuierliche Parameter indiziert. Transformationen sind Verschiebungen im Parameterraum ( $\phi = \Delta\theta$ ). Der Operator lernt, wie Funktionskurven sich unter Parameter-Verschiebungen verformen.
Längenextrapolation (Rekursiv): Aufgaben sind nach hierarchischer Komplexität organisiert (z. B. Polynomgrad). Die Transformation ist ein induktiver Schritt, der eine Aufgabe der Komplexität $L-1$ auf $L$ erweitert (z. B. Hinzufügen eines neuen Terms).
Kompositionelle Extrapolation (Kombinatorisch): Aufgaben werden durch das Kombinieren von Primitiven gebildet (z. B. $f \circ g$ ). Eine Komponente dient als Anker, die andere als Transformations-Argument.

2.3. Inferenz und Suche

Eine praktische Herausforderung ist die Auswahl des Ankers und der Transformation, wenn Aufgaben-Deskriptoren latent sind. RTE adressiert dies über eine Proxy-Geometrie (unter Verwendung von Task2Vec-Einbettungen, die aus der Fisher-Information-Matrix abgeleitet sind) und einen zweiphasigen Prozess:

Training: Das Modell lernt $\Psi$ , indem es den Vorhersagefehler auf Paaren von Trainingsaufgaben $(f_i, f_j)$ minimiert, wobei die Transformation $\phi_{ij}$ bekannt oder abgeleitet ist.
Inferenz:
- Kontinuierliches Regime: Verwendet einen geometrischen Shortcut. Der Zielkontext wird eingebettet, und der nächste Nachbarn in der Trainingsbibliothek wird als Anker ausgewählt. Die Transformation wird als Vektordifferenz im Proxy-Raum abgeleitet.
- Diskrete Regime (Länge/Komposition): Setzt eine amortisierte Suche ein. Ein Dekomponierer-Netzwerk schlägt Kandidaten-Anker-Transformations-Paare vor, die dann durch Bewertung ihrer Wahrscheinlichkeit oder ihres Rekonstruktionsfehlers am spärlichen Zielkontext neu sortiert werden.

2.4. Erweiterung auf Sequenzmodelle (LLMs)

RTE wird auf Large Language Models (LLMs) erweitert, indem Aufgabenextrapolation als Problem des überwachten Fine-Tunings (SFT) formuliert wird. Der relationale Operator wird als feinabgestimmtes Instruktion-following-Modell implementiert. Zum Testzeitpunkt wird das Modell mit einer Anker-Aufgabe (Demonstrationen), einer Transformationsbeschreibung (z. B. „Bit-Index 3 verschieben") und einer Abfrage aufgefordert. Das Modell lernt, die Transformationslogik auf den Anker anzuwenden, um das Ziel zu lösen. Die Inferenz beinhaltet eine diskrete Suche über Kandidaten-Dekompositionen, die basierend auf der Wahrscheinlichkeit des Modells für den Zielkontext bewertet werden.

3. Hauptbeiträge

Relationale Aufgabenextrapolation (RTE): Ein algorithmisches Framework, das inter-task-Beziehungen nutzt, um OOS-Extrapolation auf OOC-Probleme zu reduzieren.
Extrapolationsregime: Formale Implementierung von RTE in Parameter-, Längen- und kompositionellen Extrapolationssettings.
Trainings- und Inferenzprotokolle: Entwicklung von Protokollen unter Verwendung von Task2Vec-Einbettungen für Proxy-Geometrie und Formulierung von Extrapolation als Optimierungsproblem. Für LLMs die Nutzung der Wahrscheinlichkeit auf spärlichem Kontext als Proxy-Belohnung für Suche und Verifikation ohne extrinsische Signale.
Empirische Validierung: Umfassende Evaluation auf synthetischen Aufgaben zur Funktionsvorhersage und LLM-Benchmarks (Sparse Parity, CodeIO).

4. Experimentelle Ergebnisse

Die Autoren evaluieren RTE gegenüber Standard-induktiven Baselines und Oracle-Varianten (die Zugriff auf Ground-Truth-Dekompositionen haben).

Synthetische Funktionsvorhersage:
- Parameterextrapolation: Induktive Modelle versagen katastrophal (MSE $\approx 10^5$ ) bei Parametern außerhalb des Bereichs aufgrund von Sättigung an den Grenzen. RTE reduziert den Fehler erheblich (MSE $\approx 10^2$ ) und schließt die Lücke zur Oracle-Leistung.
- Längenextrapolation: RTE übertrifft naive Baselines bei der Vorhersage hochgradiger Polynome erheblich (MSE 0,37 vs. 0,58), obwohl aufgrund unvollkommener Anker-Wiedergewinnung eine Lücke zur Oracle-Leistung bleibt.
- Kompositionelle Extrapolation: RTE erreicht eine niedrigere aggregierte MSE (0,29) als Baselines (0,39) bei unvorhergesehenen Funktionskompositionen und leitet erfolgreich zugrunde liegende Primitiven ab.
LLM-Experimente:
- Sparse Parity (Länge): RTE verbessert die Genauigkeit von 52,86 % (Baseline) auf 66,07 % bei Teilmengengrößen, die während des Trainings nicht gesehen wurden, und gewinnt rekursive Strukturen zurück.
- CodeIO (Komposition): RTE verdoppelt die Genauigkeit fast (45,3 %) im Vergleich zu Few-Shot (19,8 %) und Chain-of-Thought-Baselines (30,2 %) und schränkt das Modell effektiv auf gültige algorithmische Schritte ein.

5. Bedeutung und Grenzen

Der Artikel behauptet, dass RTE einen prinzipiellen Ansatz zur Verallgemeinerung bietet, indem er die relationale Struktur von Aufgabenräumen ausnutzt. Es wird gezeigt, dass Modelle über ihre Trainingsunterstützung hinaus extrapolieren können, wenn sie lernen, neue Aufgaben in bekannte Komponenten und Transformationen zu zerlegen.

Grenzen und zukünftige Richtungen:

Inferenzkosten: RTE erfordert Berechnungen zum Testzeitpunkt, um optimale Dekompositionen zu identifizieren, im Gegensatz zu einstufigen induktiven Modellen.
Mannigfaltigkeitsdichte (Erreichbarkeit): RTE geht davon aus, dass die Zielaufgabe über eine Transformation erreichbar ist, die in der Trainingsverteilung existiert. Komplett fremde Mechanismen bleiben unerreichbar.
Identifizierbarkeit: In diskreten Regimen stützt sich der aktuelle Ansatz während des Trainings auf Ground-Truth-relationale Metadaten. Obwohl die Autoren eine Selbstkennzeichnung über Expectation-Maximization vorschlagen, um dies zu lockern, bleibt die Ableitung latenter relationaler Strukturen von Grund auf eine offene Herausforderung.
Mehrstufige Extrapolation: Während erste Ergebnisse Erfolg mit iterativen Verschiebungen zeigen, erfordert das Verkettung mehrerer Transformationen ohne kumulative Fehler weitere Untersuchungen.

Die Autoren betonen, dass RTE keine universelle Black-Box-Lösung ist, sondern speziell für Bereiche entwickelt wurde, die eine zugrunde liegende relationale Struktur besitzen, und bietet einen Weg für Modelle, generative Mechanismen zu internalisieren und wiederzuverwenden, anstatt sich auf oberflächliche Heuristiken zu verlassen.