Résumé technique : Apprendre à extrapoler vers de nouvelles tâches : une approche relationnelle de l'extrapolation de tâches

1. Énoncé du problème

Les systèmes d'apprentissage modernes, y compris les modèles de base à grande échelle, excellent dans l'interpolation au sein du support de leur distribution d'entraînement, mais peinent à généraliser vers des tâches situées en dehors de ce support (hors support ou OOS). Cet échec persiste même dans des contextes structurés, tels que la prédiction de fonctions avec des paramètres au-delà de la plage d'entraînement, l'augmentation de la profondeur compositionnelle, ou la recomposition de primitives connues de manières inédites. Les modèles actuels reposent souvent sur des heuristiques liées à la distribution d'entraînement plutôt que sur l'intériorisation des mécanismes génératifs d'un domaine, conduisant à une saturation aux frontières de leur expérience.

Le papier définit l'extrapolation de tâches comme la généralisation vers des tâches cibles où la structure définissant la tâche elle-même se situe en dehors du support d'entraînement. Contrairement à la généralisation hors distribution ou de longueur standard où les entrées de test sont des unions ou des extensions des entrées d'entraînement, l'extrapolation de tâches nécessite de raisonner sur la transformation de la structure de la tâche elle-même. Les auteurs postulent que, bien que l'extrapolation vers des tâches arbitraires invisibles soit mal posée, de nombreuses tâches réelles sont systématiquement liées par des structures partagées et inconnues.

2. Méthodologie : l'Extrapolateur de Tâches Relationnel (ETR)

La proposition centrale est l'Extrapolateur de Tâches Relationnel (ETR), un algorithme qui reformule l'extrapolation comme un problème transductif. L'observation centrale est que l'extrapolation est intrinsèquement relationnelle : le succès dépend de l'apprentissage de la manière dont les tâches se transforment les unes en les autres.

2.1. Mécanisme central

L'ETR décompose une tâche cible invisible $f_{\theta^*}$ en deux composantes observées durant l'entraînement :

1. Une tâche ancre ($f_{anc}$) : Une tâche familière au sein de la distribution d'entraînement.
2. Une transformation ($\phi$) : Un descripteur relatif reliant l'ancre à la cible (par exemple, un décalage de paramètre, une étape d'extension récursive, ou un opérateur de composition).

Au lieu d'apprendre une cartographie directe des paramètres de tâche vers les sorties, l'ETR apprend un opérateur relationnel $\Psi$ qui mappe une paire ancre-transformation vers les prédictions pour la tâche cible :
$$\hat{y} = \Psi(x, f_{anc}, \phi)$$
Cela réduit le problème difficile d'extrapolation hors support (OOS) à un problème plus traitable d'hors-combinaison (OOC). Tant l'ancre que la transformation sont individuellement observées dans les données d'entraînement, même si leur combinaison spécifique est nouvelle.

2.2. Trois régimes d'extrapolation

Les auteurs implémentent l'ETR à travers trois régimes canoniques :

• Extrapolation de paramètres (Continue) : Les tâches sont indexées par des paramètres continus. Les transformations sont des décalages dans l'espace des paramètres ($\phi = \Delta\theta$). L'opérateur apprend comment les courbes de fonction se déforment sous des décalages de paramètres.
• Extrapolation de longueur (Récursive) : Les tâches sont organisées par complexité hiérarchique (par exemple, le degré d'un polynôme). La transformation est une étape inductive étendant une tâche de complexité $L-1$ vers $L$ (par exemple, l'ajout d'un nouveau terme).
• Extrapolation compositionnelle (Combinatoire) : Les tâches sont formées en combinant des primitives (par exemple, $f \circ g$). Une composante sert d'ancre, et l'autre sert d'argument de transformation.

2.3. Inférence et recherche

Un défi pratique consiste à sélectionner l'ancre et la transformation lorsque les descripteurs de tâche sont latents. L'ETR y répond via une géométrie proxy (utilisant des embeddings Task2Vec dérivés de la matrice d'information de Fisher) et un processus en deux phases :

1. Entraînement : Le modèle apprend $\Psi$ en minimisant l'erreur de prédiction sur des paires de tâches d'entraînement $(f_i, f_j)$ où la transformation $\phi_{ij}$ est connue ou inférée.
2. Inférence :
   • Régime continu : Utilise une astuce géométrique. Le contexte cible est encodé, et le plus proche voisin dans la bibliothèque d'entraînement est sélectionné comme ancre. La transformation est inférée comme la différence vectorielle dans l'espace proxy.
   • Régimes discrets (Longueur/Composition) : Recourt à une recherche amortie. Un réseau décomposeur propose des paires ancre-transformation candidates, qui sont ensuite reclassées en évaluant leur vraisemblance ou leur erreur de reconstruction sur le contexte cible épars.

2.4. Extension aux modèles de séquence (LLM)

L'ETR est étendu aux Grands Modèles de Langage (LLM) en reformulant l'extrapolation de tâches comme un problème de fine-tuning supervisé (SFT). L'opérateur relationnel est implémenté sous la forme d'un modèle de suivi d'instructions fine-tuné. Au moment du test, le modèle est sollicité avec une tâche ancre (démonstrations), une description de transformation (par exemple, « décaler l'index du bit 3 »), et une requête. Le modèle apprend à appliquer la logique de transformation à l'ancre pour résoudre la cible. L'inférence implique une recherche discrète sur des décompositions candidates, les notant en fonction de la vraisemblance du modèle sur le contexte cible.

3. Contributions clés

• Extrapolation de Tâches Relationnelle (ETR) : Un cadre algorithmique qui exploite les inter-relations entre tâches pour réduire l'extrapolation OOS à des problèmes OOC.
• Régimes d'extrapolation : Implémentation formelle de l'ETR dans les contextes d'extrapolation de paramètres, de longueur et compositionnelle.
• Protocoles d'entraînement et d'inférence : Développement de protocoles utilisant des embeddings Task2Vec pour la géométrie proxy et la formulation de l'extrapolation comme un problème d'optimisation. Pour les LLM, l'utilisation de la vraisemblance sur un contexte épars comme récompense proxy pour la recherche et la vérification sans signaux extrinsèques.
• Validation empirique : Évaluation complète sur des tâches de prédiction de fonctions synthétiques et des benchmarks LLM (Parité Éparse, CodeIO).

4. Résultats expérimentaux

Les auteurs évaluent l'ETR par rapport à des bases inductives standard et à des variantes oracle (qui ont accès aux décompositions vérité-terrain).

• Prédiction de fonctions synthétiques :

  • Extrapolation de paramètres : Les modèles inductifs échouent de manière catastrophique (MSE $\approx 10^5$) sur des paramètres hors plage en raison de la saturation aux frontières. L'ETR réduit considérablement l'erreur (MSE $\approx 10^2$), comblant l'écart vers la performance oracle.
  • Extrapolation de longueur : L'ETR surpasse nettement les bases naïves dans la prédiction de polynômes de haut degré (MSE 0,37 contre 0,58), bien qu'un écart subsiste par rapport à l'oracle en raison d'une récupération d'ancre imparfaite.
  • Extrapolation compositionnelle : L'ETR atteint un MSE agrégé plus faible (0,29) que les bases (0,39) sur des compositions de fonctions invisibles, inférant avec succès les primitives sous-jacentes.

• Expériences LLM :

  • Parité Éparse (Longueur) : L'ETR améliore la précision de 52,86 % (Base) à 66,07 % sur des tailles de sous-ensembles invisibles durant l'entraînement, récupérant la structure récursive.
  • CodeIO (Composition) : L'ETR double presque la précision (45,3 %) par rapport aux bases Few-Shot (19,8 %) et Chain-of-Thought (30,2 %), contraignant efficacement le modèle à des étapes algorithmiques valides.

5. Importance et limites

Le papier affirme que l'ETR fournit une approche principée de la généralisation en exploitant la structure relationnelle des espaces de tâches. Il démontre que les modèles peuvent extrapoler au-delà de leur support d'entraînement s'ils apprennent à décomposer les nouvelles tâches en composantes et transformations connues.

Limites et perspectives futures :

• Coût d'inférence : L'ETR nécessite un calcul au moment du test pour identifier les décompositions optimales, contrairement aux modèles inductifs en un seul passage.
• Densité de la variété (Accessibilité) : L'ETR suppose que la tâche cible est accessible via une transformation existant dans la distribution d'entraînement. Des mécanismes totalement étrangers restent inaccessibles.
• Identifiabilité : Dans les régimes discrets, l'approche actuelle repose sur des métadonnées relationnelles vérité-terrain durant l'entraînement. Bien que les auteurs proposent un auto-étiquetage via l'algorithme Espérance-Maximisation pour assouplir cela, l'inférence de structures relationnelles latentes à partir de zéro reste un défi ouvert.
• Extrapolation multi-étapes : Bien que les résultats initiaux montrent du succès avec des décalages itératifs, l'enchaînement de multiples transformations sans erreurs cumulatives nécessite une investigation plus poussée.

Les auteurs soulignent que l'ETR n'est pas une solution universelle de boîte noire, mais est spécifiquement conçue pour des domaines possédant une structure relationnelle sous-jacente, offrant une voie pour que les modèles intériorisent et réutilisent des mécanismes génératifs plutôt que de s'appuyer sur des heuristiques de surface.