Technische Samenvatting: Leren Extrapoleren naar Nieuwe Taken: Een Relationele Aanpak voor Taakextrapolatie

1. Probleemstelling

Moderne leersystemen, waaronder grootschalige foundation-modellen, blinken uit in interpolatie binnen de ondersteuning van hun trainingsverdeling, maar worstelen met generalisatie naar taken die buiten deze ondersteuning liggen (out-of-support of OOS). Dit falen blijft bestaan, zelfs in gestructureerde omgevingen, zoals het voorspellen van functies met parameters buiten het trainingsbereik, het verhogen van de compositieve diepte, of het hercombineren van bekende primitieven op ongekende manieren. Huidige modellen vertrouwen vaak op heuristieken die gekoppeld zijn aan de trainingsverdeling in plaats van de generatieve mechanismen van een domein te internaliseren, wat leidt tot verzadiging aan de grenzen van hun ervaring.

Het artikel definieert taakextrapolatie als generalisatie naar doeltaken waarbij de taakdefiniërende structuur zelf buiten de trainingsondersteuning ligt. In tegenstelling tot standaard out-of-distribution- of lengtegeneralisatie, waarbij testinvoer verenigingen of uitbreidingen zijn van trainingsinvoer, vereist taakextrapolatie redeneren over de transformatie van de taakstructuur zelf. De auteurs stellen dat hoewel extrapoleren naar willekeurige onzichtbare taken slecht gesteld is, veel real-world-taken systematisch met elkaar verbonden zijn via gedeelde, onbekende structuren.

2. Methodologie: De Relationele Taakextrapolator (RTE)

Het kernvoorstel is de Relationele Taakextrapolator (RTE), een algoritme dat extrapolatie herformuleert als een transductief probleem. De centrale observatie is dat extrapolatie inherent relationeel is: succes hangt af van het leren hoe taken in elkaar overgaan.

2.1. Kernmechanisme

RTE decomposeert een onzichtbare doeltaak $f_{\theta^*}$ in twee componenten die tijdens het trainen worden waargenomen:

1. Een Anker-Taak ($f_{anc}$): Een bekende taak binnen de trainingsverdeling.
2. Een Transformatie ($\phi$): Een relatieve beschrijver die het anker koppelt aan het doel (bijvoorbeeld een parameterverschuiving, een recursieve uitbreidingsstap, of een compositie-operator).

In plaats van een directe mapping te leren van taakparameters naar outputs, leert RTE een relationele operator $\Psi$ die een anker-transformatiepaar afbeeldt op voorspellingen voor de doeltaak:
$$\hat{y} = \Psi(x, f_{anc}, \phi)$$
Dit reduceert het moeilijke out-of-support (OOS) extrapolatieprobleem tot een meer hanteerbaar out-of-combination (OOC) probleem. Zowel het anker als de transformatie worden individueel waargenomen in de trainingsdata, zelfs als hun specifieke combinatie nieuw is.

2.2. Drie Extrapolatieregimes

De auteurs instantiëren RTE over drie canonieke regimes:

• Parameterextrapolatie (Continu): Taken worden geïndexeerd door continue parameters. Transformaties zijn verschuivingen in de parameterruimte ($\phi = \Delta\theta$). De operator leert hoe functiekrommen vervormen onder parameterverschuivingen.
• Lengteextrapolatie (Recursief): Taken zijn georganiseerd volgens hiërarchische complexiteit (bijvoorbeeld polynoomgraad). De transformatie is een inductieve stap die een taak van complexiteit $L-1$ uitbreidt naar $L$ (bijvoorbeeld het toevoegen van een nieuwe term).
• Compositieve Extrapolatie (Combinatoir): Taken worden gevormd door primitieven te combineren (bijvoorbeeld $f \circ g$). Een component dient als anker, en de andere als het transformatie-argument.

2.3. Inferentie en Zoeken

Een praktische uitdaging is het selecteren van het anker en de transformatie wanneer taakbeschrijvers latent zijn. RTE adresseert dit via een proxy-geometrie (met behulp van Task2Vec-embeddings afgeleid van de Fisher Information Matrix) en een proces in twee fasen:

1. Training: Het model leert $\Psi$ door de voorspelfout te minimaliseren op paren trainings taken $(f_i, f_j)$ waarbij de transformatie $\phi_{ij}$ bekend is of wordt afgeleid.
2. Inferentie:
   • Continu Regime: Gebruikt een geometrische shortcut. De doelcontext wordt ingebed, en de dichtstbijzijnde buur in de trainingsbibliotheek wordt geselecteerd als het anker. De transformatie wordt afgeleid als het vectordifferentie in de proxy-ruimte.
   • Discrete Regimes (Lengte/Compositie): Past een geamortiseerde zoektocht toe. Een decompositie-netwerk stelt kandidaat anker-transformatieparen voor, die vervolgens opnieuw worden gerangschikt door hun waarschijnlijkheid of reconstructiefout te evalueren op de schaarse doelcontext.

2.4. Uitbreiding naar Sequentiemodellen (LLM's)

RTE wordt uitgebreid naar Large Language Models (LLM's) door taakextrapolatie te kaderen als een supervised fine-tuning (SFT) probleem. De relationele operator wordt geïnstiënteerd als een gefine-tuned instructievolgend model. Tijdens de testfase wordt het model geprompt met een anker-taak (demonstraties), een transformatiebeschrijving (bijvoorbeeld "verschuif bit-index 3"), en een query. Het model leert de transformatielogica toe te passen op het anker om het doel op te lossen. Inferentie omvat een discrete zoektocht over kandidaat-decomposities, waarbij deze worden gescoord op basis van de waarschijnlijkheid van het model op de doelcontext.

3. Belangrijkste Bijdragen

• Relationele Taakextrapolatie (RTE): Een algoritmisch kader dat inter-taakrelaties benut om OOS-extrapolatie te reduceren tot OOC-problemen.
• Extrapolatieregimes: Formele instantiatie van RTE over parameter-, lengte- en compositieve extrapolatie-instellingen.
• Trainings- en Inferentieprotocollen: Ontwikkeling van protocollen met behulp van Task2Vec-embeddings voor proxy-geometrie en het formuleren van extrapolatie als een optimalisatieprobleem. Voor LLM's: het gebruik van waarschijnlijkheid op schaarse context als proxy-beloning voor zoektocht en verificatie zonder extrinsieke signalen.
• Empirische Validatie: Omvattende evaluatie op synthetische functievoorspellingstaken en LLM-benchmarks (Sparse Parity, CodeIO).

4. Experimentele Resultaten

De auteurs evalueren RTE tegen standaard inductieve baselines en oracle-varianten (die toegang hebben tot ground-truth decomposities).

• Synthetische Functievoorspelling:

  • Parameterextrapolatie: Inductieve modellen falen catastrofaal (MSE $\approx 10^5$) op parameters buiten het bereik door grensverzadiging. RTE reduceert de fout aanzienlijk (MSE $\approx 10^2$), waardoor de kloof naar oracle-prestaties wordt overbrugd.
  • Lengteextrapolatie: RTE presteert aanzienlijk beter dan naïeve baselines bij het voorspellen van polynomen van hoge graad (MSE 0,37 versus 0,58), hoewel er nog een kloof blijft ten opzichte van de oracle door imperfecte ankerretrieval.
  • Compositieve Extrapolatie: RTE bereikt een lagere geaggregeerde MSE (0,29) dan baselines (0,39) op onzichtbare functiesamenstellingen, waarbij het onderliggende primitieven succesvol afleidt.

• LLM-experimenten:

  • Sparse Parity (Lengte): RTE verbetert de nauwkeurigheid van 52,86% (Baseline) naar 66,07% op subsetgroottes die niet tijdens het trainen zijn gezien, waardoor de recursieve structuur wordt hersteld.
  • CodeIO (Compositie): RTE verdubbelt de nauwkeurigheid bijna (45,3%) in vergelijking met Few-Shot (19,8%) en Chain-of-Thought-baselines (30,2%), waarbij het model effectief wordt beperkt tot geldige algoritmische stappen.

5. Betekenis en Beperkingen

Het artikel stelt dat RTE een principiële aanpak voor generalisatie biedt door de relationele structuur van taakruimten te exploiteren. Het demonstreert dat modellen kunnen extrapoleren buiten hun trainingsondersteuning als ze leren nieuwe taken te decomponeren in bekende componenten en transformaties.

Beperkingen en Toekomstige Richtingen:

• Inferentiekosten: RTE vereist berekening op testtijd om optimale decomposities te identificeren, in tegenstelling tot single-pass inductieve modellen.
• Manifolddichtheid (Bereikbaarheid): RTE gaat ervan uit dat de doeltaak bereikbaar is via een transformatie die bestaat in de trainingsverdeling. Volledig vreemde mechanismen blijven onbereikbaar.
• Identificeerbaarheid: In discrete regimes vertrouwt de huidige aanpak op ground-truth relationele metadata tijdens het trainen. Hoewel de auteurs zelf-labeling via Expectation-Maximization voorstellen om dit te versoepelen, blijft het afleiden van latente relationele structuur vanaf nul een open uitdaging.
• Meerstaps-extrapolatie: Hoewel eerste resultaten succes tonen met iteratieve verschuivingen, vereist het koppelen van meerdere transformaties zonder cumulatieve fouten verder onderzoek.

De auteurs benadrukken dat RTE geen universele black-box oplossing is, maar specifiek is ontworpen voor domeinen die een onderliggende relationele structuur bezitten, en biedt een pad voor modellen om generatieve mechanismen te internaliseren en opnieuw te gebruiken in plaats van te vertrouwen op oppervlakkige heuristieken.