Résumé Technique : UG-TTT (Entraînement au Moment du Test Guidé par l'Incertitude)

Énoncé du Problème

La découverte scientifique automatisée utilisant les grands modèles de langage (LLM) fait face à une limitation structurelle : bien que l'apprentissage par renforcement (AR) standard puisse améliorer les performances moyennes, il échoue souvent à découvrir des solutions véritablement novatrices, entraînant un plafonnement prématuré de la récompense maximale atteignable. Ce phénomène, qualifié d'effondrement de mode, survient parce que les objectifs d'AR standard maximisent la récompense attendue, ce qui pénalise intrinsèquement les mutations à forte variance. Par conséquent, la politique converge vers des motifs « sûrs » et familiers présents dans les données d'entraînement, plutôt que d'explorer les régions éparses à haute récompense de la frontière des connaissances.

Les tentatives existantes pour atténuer ce problème, telles que les bonus d'entropie ou le pondération basée sur la confiance, reposent sur un seul réseau entraîné. Ces méthodes échouent à distinguer l'incertitude aléatoire (ambiguïté d'entrée irréductible) de l'incertitude épistémique (lacunes dans les connaissances apprises du modèle). Pour la découverte scientifique, cette confusion est fatale ; la politique gaspille des ressources de calcul dans des territoires ambigus mais familiers plutôt que sur la véritable frontière des connaissances où se produisent les percées. De plus, les systèmes d'entraînement au moment du test (TTT) existants souffrent souvent d'un effondrement de la diversité, où plusieurs adaptateurs ou trajectoires convergent vers des configurations de poids identiques, annulant tout signal d'exploration.

Méthodologie : UG-TTT

Les auteurs proposent UG-TTT (Entraînement au Moment du Test Guidé par l'Incertitude), un cadre conçu pour maintenir la diversité de l'ensemble et orienter l'exploration vers des positions de forte incertitude épistémique. La méthode étend la base TTT-DISCOVER avec trois composants couplés :

1. Incertitude Épistémique via des Ensembles LoRA

Au lieu d'un seul adaptateur, UG-TTT maintient un ensemble de $K$ adaptateurs de rang faible (LoRA) sur une base de modèle partagée et figée. Chaque adaptateur $\Theta^{(k)} = \Theta_{base} + B^{(k)}A^{(k)}$ est traité comme un échantillon indépendant d'une postérieure variationnelle.

• Signal : Le système calcule l'Information Mutuelle (IM) au niveau du token pour quantifier l'incertitude épistémique. Celle-ci est définie comme la différence entre l'entropie de la distribution de mélange de l'ensemble et l'entropie moyenne des adaptateurs individuels :
  $$MI_t = H(\bar{p}_t) - \frac{1}{K}\sum_{k=1}^K H(p_{\theta_k}(\cdot | o_{<t}))$$
• Interprétation : Une IM élevée indique que les membres de l'ensemble ne sont pas d'accord sur le token suivant, signalant une région que le modèle n'a pas encore résolue (forte incertitude épistémique). Une IM faible indique un accord, même si les tokens sont ambigus (incertitude aléatoire).
• Agrégation : Pour se concentrer sur un signal significatif, l'IM est moyennée uniquement sur les 7 % de tokens les plus incertains d'un déploiement, filtrant ainsi les boilerplates syntaxiques où les adaptateurs s'accordent trivialement.

2. Avantage Façonné par l'Incertitude

Le signal IM brut est intégré dans le gradient de politique comme un bonus d'exploration.

• Normalisation : Le score IM est standardisé au sein de chaque groupe de déploiement pour assurer l'invariance d'échelle entre les tâches.
• Couplage Dynamique : Le coefficient d'exploration est couplé à une température entropique adaptative $\beta(s)$, qui mesure la confiance de la politique. À mesure que la politique s'affine (indiquant un effondrement de mode potentiel), la pression d'exploration augmente automatiquement. Cela garantit que le bonus est appliqué précisément lorsque la politique risque de converger vers un ensemble restreint de solutions.
• Fonction de Perte : L'avantage façonné $A^{shaped}_i$ remplace l'avantage standard dans la perte d'échantillonnage d'importance tronquée, orientant la politique vers des positions à forte IM.

3. Régularisateur de Diversité de Sous-espace (NNM)

Pour empêcher les adaptateurs de l'ensemble de s'effondrer en configurations de poids identiques (ce qui réduirait l'IM à zéro), les auteurs introduisent un régularisateur de Maximisation de la Norme Nucléaire (NNM).

• Mécanisme : Le régularisateur maximise la norme nucléaire (somme des valeurs singulières) des matrices de projection descendante empilées ($A^{(k)}$) à travers l'ensemble.
• Garantie Théorique : Les auteurs prouvent (Proposition 2) que sous une contrainte de norme de Frobenius fixe, le maximum global de la norme nucléaire est atteint lorsque les espaces de lignes des adaptateurs sont mutuellement orthogonaux. Cette condition géométrique garantit que chaque adaptateur se concentre sur un sous-espace d'entrée distinct, préservant la non-trivialité de la décomposition BALD (Apprentissage Actif Bayésien par Désaccord).

Contributions Clés

1. Décomposition de l'Incertitude : L'article démontre que mesurer le désaccord entre des hypothèses de poids adaptées indépendamment (via des ensembles LoRA) est nécessaire pour isoler l'incertitude épistémique, un signal absent dans les approches à réseau unique.
2. Nouvelle Régularisation : L'introduction du régularisateur de Maximisation de la Norme Nucléaire est identifiée comme le mécanisme critique pour soutenir la diversité de l'ensemble. Sans lui, les adaptateurs convergent vers des solutions identiques en deux époques, faisant disparaître le signal d'exploration.
3. Entraînement au Moment du Test Efficace : UG-TTT réalise ces gains avec un petit ensemble d'adaptateurs de rang faible, évitant le coût computationnel de la réplication complète du modèle tout en maintenant une postérieure distincte sur les poids.

Résultats Expérimentaux

La méthode a été évaluée sur quatre benchmarks de découverte scientifique (AC1, AC2, CP26 et Erdős) en utilisant un modèle Qwen3-8B.

• Récompense Maximale : UG-TTT a amélioré la récompense maximale ($R_{max}$) sur trois des quatre tâches par rapport à la base TTT-DISCOVER. Sur la quatrième tâche (Erdős), elle a atteint le plafond de la base tout en découvrant des solutions qualitativement distinctes.
• Préservation de la Diversité : Alors que l'entropie de la famille de solutions de la base s'effondrait à $\approx 0,65$ bits à l'époque 5, UG-TTT a maintenu une entropie d'environ $\approx 1,42$ bits. Cela indique que le modèle a continué à explorer diverses familles algorithmiques plutôt que de converger vers une seule stratégie « sûre ».
• Découverte de Solutions Novatrices :
  • AC1 : UG-TTT a découvert la cible de Cauchy-Schwarz ($\sqrt{2n}$) dans 18/30 déploiements supérieurs, tandis que la base ne l'a trouvée que dans 1/30.
  • AC2 : La base n'a pas réussi à utiliser scipy.optimize.differential_evolution (0/30 déploiements supérieurs), tandis que UG-TTT l'a utilisé dans 13/30, atteignant une récompense plus élevée.
  • Erdős : UG-TTT a découvert une stratégie d'initialisation basée sur Fourier que la base n'a jamais explorée.
• Efficacité : UG-TTT a atteint le plafond de l'état de l'art sur CP26 en 384 déploiements, nettement moins que les 25 600 déploiements requis par la base.

Importance et Revendications

L'article revendique que l'effondrement de la diversité dans la découverte au moment du test est une conséquence structurelle de l'optimisation par récompense scalaire sur un modèle unique. En introduisant un signal d'information mutuelle basé sur un ensemble couplé à un régularisateur de norme nucléaire, UG-TTT oriente avec succès la politique vers la « frontière des connaissances » où la découverte véritable est possible.

Les auteurs soulignent que le régularisateur de norme nucléaire est le composant « porteur de charge » du système ; les études d'ablation confirment que son retrait provoque l'effondrement du signal d'incertitude et ramène le système au comportement d'AR standard. Le travail suggère que le maintien de l'orthogonalité des sous-espaces parmi les adaptateurs est une condition nécessaire pour soutenir l'exploration dans les tâches de découverte scientifique à récompense éparses.

L'article reste modeste quant à la généralisation, notant que les résultats sont basés sur un modèle spécifique (Qwen3-8B), une seule configuration GPU et un nombre fixe d'adaptateurs ($K=5$). Il reconnaît que le mécanisme d'arrêt précoce en flux continu nécessitait un étalonnage empirique pour des tâches spécifiques et que son portage vers des vérificateurs bruyants ou appris nécessiterait un recalibrage.