Résumé Technique : L'Ingénierie des Caractéristiques comme Biais d'Identifiabilité pour la Généralisation Hors Distribution

1. Énoncé du Problème

Les réseaux de neurones profonds excellent dans l'interpolation au sein du support de leurs données d'entraînement, mais échouent fréquemment dans l'extrapolation hors distribution (OOD). Bien que le théorème d'approximation universelle garantisse les capacités d'interpolation, l'extrapolation mathématiquement garantie reste un problème non résolu.

Le problème central identifié dans ce travail est l'équivalence observationnelle. Sur toute fenêtre d'entraînement finie $W$, une infinité de processus générateurs de données (DGP) peuvent être $\epsilon$-observationnellement équivalents (indistinguables dans une tolérance $\epsilon$) tout en divergeant arbitrairement en dehors de $W$. Par conséquent, aucun critère in-distribution seul (tel que la perte d'entraînement, la validation croisée ou la perte retenue sur $W$) ne peut distinguer de manière fiable le processus sous-jacent véritable de ces hypothèses confondantes. L'article soutient que l'extrapolation OOD est non identifiable à partir des données seules ; le choix de la représentation et de la classe de modèle constitue un « engagement structurel » qui résout cette ambiguïté.

2. Méthodologie et Cadre Théorique

2.1 L'Engagement DGP $(\phi, \psi, M)$

Les auteurs formalisent le processus d'apprentissage comme un engagement conjoint impliquant trois composantes :

1. Carte de Caractéristiques ($\phi$) : Transforme l'entrée $x$ en un espace de représentation $Z_x$.
2. Carte d'Étiquettes ($\psi$) : Transforme la cible $y$ en $Z_y$.
3. Classe de Modèle ($M$) : La classe d'hypothèses opérant sur les espaces transformés.

L'article postule que le triplet $(\phi, \psi, M)$ dicte le DGP supposé. Si cet engagement s'aligne avec le véritable DGP de telle sorte que la cible devienne linéairement exprimable (ou autrement simple) dans l'espace transformé, l'extrapolation OOD devient une interpolation.

2.2 Équivalence Observationnelle et Identifiabilité

La Proposition 1 établit que la minimisation du risque empirique (ERM) est aveugle aux processus observationnellement équivalents. Pour toute fenêtre finie $W$ et niveau de bruit $\sigma$, si deux processus $P_1$ et $P_2$ s'accordent sur $W$ dans une tolérance $\epsilon$, aucun test supporté sur $W$ ne peut les distinguer de manière fiable lorsque $\epsilon\sqrt{n} \ll \sigma$. Cela implique que les critères de sélection standards (comme la validation croisée) ne peuvent pas briser l'égalité entre des DGP concurrents qui sont observationnellement équivalents sur l'ensemble d'entraînement.

La Proposition 2 introduit une heuristique pour briser cette égalité : les données proches de la frontière. Si deux processus divergent à un taux $r$ en dehors de la fenêtre d'entraînement, un segment de validation de largeur $\delta \ge \epsilon/r$ immédiatement adjacent à la frontière d'entraînement sortira de la zone d'accord. Noter les candidats sur ce segment proche de la frontière permet de sélectionner l'engagement structurel correct.

2.3 Existence Constructive

L'article démontre que si le véritable DGP est réalisable au sein de la classe de modèle $M$ après transformation (c'est-à-dire $g^* \circ \phi = f$ sur tout $X$, et non seulement sur $W$), et que le modèle est identifiable à partir d'échantillons finis, alors l'erreur OOD s'annule ($\epsilon_{OOD} = 0$). Cela est démontré pour :

• Fonctions sinusoïdales : L'utilisation de coordonnées de Fourier $\phi(x) = (\sin x, \cos x)$ transforme l'extrapolation périodique en interpolation sur un cercle $S^1$.
• Lois de puissance : L'utilisation de transformations log-log.
• Exponentielles : L'utilisation de transformations log-y.

3. Contributions Clés

1. Formalisation de l'Équivalence Observationnelle : L'article fournit une borne inférieure théorique sur la capacité de tout test in-distribution à distinguer des processus observationnellement équivalents, prouvant que le risque OOD est non identifiable sans engagements structurels.
2. Le Cadre de l'Engagement DGP : Il identifie $(\phi, \psi, M)$ comme la seule source d'information structurelle qu'un modélisateur peut fournir pour résoudre l'ambiguïté OOD. Il soutient que « l'ingénierie des caractéristiques » n'est pas un éloignement du succès de l'apprentissage profond, mais l'injection explicite de l'engagement structurel nécessaire.
3. Expériences Contrôlées sur des Paires Minimales : Les auteurs isolent des variables pour montrer que des architectures identiques avec une perte in-distribution (ID) identique peuvent différer de plusieurs ordres de grandeur (par exemple, $\sim520\times$) dans les performances OOD, uniquement en fonction de la carte de caractéristiques $\phi$.
4. Validation Transversale des Domaines : Le mécanisme est validé sur trois domaines des sciences naturelles :
   • Chimie : Cinétique d'action de masse (MAK) où des caractéristiques bilinéaires linéarisent la dynamique.
   • Physique : La troisième loi de Kepler pour la prédiction d'exoplanètes, où des transformations log récupèrent les exposants physiques.
   • Biologie : Détection de l'ADN codant interspécifique, où des caractéristiques invariantes au code génétique transfèrent en zero-shot entre organismes avec des contenus en GC variables.
5. Artefacts pour les Praticiens :
   • Validation Proche de la Frontière : Une heuristique de sélection supérieure à la validation croisée pour choisir des cartes de caractéristiques.
   • Diagnostic $\delta_{OOD}$ : Une métrique basée sur SINDy (Identification Sparse des Dynamiques Non Linéaires) qui corrèle le résidu d'un ajustement sparse sur des données OOD avec la justesse de la carte de caractéristiques.
   • Vérification d'Invariance Architecturale : Une étude montrant que la garantie OOD appartient à la carte de caractéristiques (par exemple, Encodage Positionnel de Fourier Exact), et non au backbone (Transformer, Mamba, ou S4D).

4. Résultats Expérimentaux

4.1 Expériences Jouets (Sin(x) et Lois de Puissance)

• Sin(x) : Un MLP entraîné sur $x$ brut extrapole comme une courbe lisse et nivelante avec une erreur OOD élevée ($\sim156\%$). Un MLP identique entraîné sur des caractéristiques de Fourier $(\sin x, \cos x)$ atteint une erreur OOD proche de zéro ($\sim0,3\%$). Les modèles de base (TimesFM, TabPFN) présentent le même comportement : ils réussissent lorsque le format d'entrée fournit implicitement la bonne carte de caractéristiques et échouent sinon.
• Loi de Puissance vs Exponentielle : Dans un cadre où $x^2$ et $e^{\alpha(x-1)}$ sont observationnellement équivalents sur $[1, 2]$, seule la carte de caractéristiques correctement transformée en log combinée à un modèle linéaire (OLS) atteint une faible erreur OOD. Des engagements incorrects (par exemple, log-log sur une cible exponentielle) entraînent un échec catastrophique (erreur $>9\,999\%$).

4.2 Domaines des Sciences Naturelles

• Chimie (MAK) : Des caractéristiques bilinéaires permettent à l'OLS de retrouver les équations gouvernantes exactes avec $0,0\%$ d'erreur OOD, tandis que les MLP bruts échouent ($24,4\%$).
• Physique (Kepler) : L'utilisation de $(\log a, \log M_{star})$ avec OLS récupère la loi physique avec $3,8\%$ d'erreur OOD. Les MLP bruts surajustent les données ID ($6,9\%$) mais échouent sur OOD ($79,0\%$).
• Biologie (CDS) : Les encodages positionnels standards (APE appris, sinusoïdaux) échouent à généraliser entre espèces avec des contenus en GC différents (chutant à des niveaux aléatoires). Des cartes de caractéristiques encodant la périodicité des codons et la composition en acides aminés permettent un transfert zero-shot avec un AUROC allant jusqu'à $0,96$.

4.3 Invariance Architecturale (Transformer, Mamba, S4D)

Dans une tâche de séquence périodique, l'Encodage Positionnel de Fourier Exact atteint une erreur OOD proche de zéro ($\le 0,2\%$) sur les trois architectures et diverses longueurs de période. En revanche, les encodages positionnels sinusoïdaux standards, RoPE et appris échouent (erreur $>90\%$). Cela confirme que la garantie OOD est une propriété de la carte de caractéristiques, et non de l'architecture.

4.4 Limites et Conditions Nécessaires

En utilisant un benchmark de tore $d$-périodique, l'article identifie trois conditions conjointement nécessaires pour la généralisation OOD :

1. Alignement de la Représentation : La carte de caractéristiques doit s'aligner avec le DGP.
2. Capacité de la Classe de Modèle : Le modèle doit pouvoir exprimer l'ordre d'interaction de la cible dans l'espace transformé.
3. Couverture : Les données d'entraînement doivent couvrir suffisamment l'espace de représentation pertinent (couverture critique $M_{crit} \approx 4$).
   L'étude montre que même avec une carte de caractéristiques correcte, un échec OOD se produit si la classe de modèle manque de capacité ou si la couverture des échantillons est insuffisante.

5. Signification et Revendications

L'article prétend résoudre le « quand et pourquoi » de l'échec d'extrapolation des réseaux de neurones. Il soutient que :

• Le risque OOD est non identifiable à partir des données sur une seule fenêtre ; l'engagement structurel $(\phi, \psi, M)$ est le seul mécanisme pour résoudre cela.
• L'ingénierie des caractéristiques n'est pas obsolète. Bien que l'apprentissage profond puisse apprendre des caractéristiques in-distribution, des engagements structurels explicites sont requis pour l'extrapolation.
• Le pré-entraînement ne résout pas le problème. Les modèles pré-entraînés héritent du problème d'engagement via leur format d'entrée ; ils réussissent uniquement lorsque l'utilisateur fournit la transformation correcte.
• Des caractéristiques correctes sont nécessaires mais non suffisantes. La classe de modèle doit exprimer la cible, et les données doivent couvrir l'espace de représentation.

Les auteurs concluent que l'« ensemble de Rashomon » (l'ensemble des modèles s'accordant sur les données d'entraînement mais en désaccord hors distribution) est navigué non pas par les données seules, mais par le choix de l'engagement structurel du modélisateur. L'article reformule l'ingénierie des caractéristiques comme l'injection explicite de l'engagement DGP requis pour rendre l'extrapolation identifiable.