Résumé Technique : TextReg

Problème : Surajustement Distributionnel des Prompts

Les Grands Modèles de Langage (LLM) sont extrêmement sensibles aux invites (prompts) d'entrée, qui servent d'interface principale pour spécifier les objectifs et les contraintes de la tâche. Bien que les méthodes récentes d'optimisation des invites réécrivent itérativement ces dernières en utilisant des retours générés par les LLM pour améliorer les performances, elles souffrent souvent de surajustement distributionnel des invites. À mesure que l'optimisation progresse, les invites ont tendance à s'allonger et à accumuler des règles étroites et spécifiques à l'échantillon (par exemple, des exceptions pour des entités spécifiques ou des cas limites) plutôt que d'encoder des principes généraux et compacts.

Ce mode d'échec se manifeste selon deux dimensions couplées :

1. Coût de Capacité : Les invites s'allongent, consommant davantage de budget de contexte et rendant plus difficile pour les modèles de localiser les instructions pertinentes au sein de fenêtres de contexte limitées.
2. Rétrécissement de la Portée : Les invites accumulent des règles qui réduisent la perte d'entraînement mais ne s'appliquent qu'à un sous-ensemble étroit d'entrées, fonctionnant comme des correctifs ad hoc plutôt que comme des principes de tâche réutilisables.

Les optimiseurs existants manquent de mécanismes pour contrôler l'une ou l'autre de ces dimensions, conduisant à des invites qui performent bien sur les données d'entraînement mais qui généralisent mal aux entrées hors distribution (OOD), aux variantes de tâches plus difficiles, ou à différentes architectures de modèles.

Méthodologie : TextReg

Les auteurs proposent TextReg, un cadre de régularisation conçu pour atténuer le surajustement distributionnel des invites en contrôlant l'inefficacité représentationnelle. Ce cadre formalise l'inefficacité comme une mesure à double facteur :
$$I(p) = C(p) \cdot W(p)$$
Où $C(p)$ est le coût de capacité (longueur en tokens) et $W(p)$ est le rétrécissement de la portée (la fraction de règles ayant une portée de généralisation limitée). TextReg vise à minimiser un objectif régularisé : $\min LD_{train}(p) + \lambda I(p)$.

Puisque l'optimisation des invites se déroule dans un espace textuel discret non différentiable, TextReg réalise cet objectif à travers trois étapes complémentaires qui génèrent et appliquent des « gradients textuels » :

1. Purification du Gradient par Double Preuve

Cette étape opère à la source du signal d'optimisation pour filtrer les gradients de tâche bruts avant qu'ils n'influencent l'invite. Elle distingue les règles largement applicables des correctifs étroits et spécifiques à l'échantillon en utilisant deux sources de preuve :

• Preuve de Cas Local : Analyse si une règle de gradient proposée découle directement de caractéristiques idiosyncrasiques du mini-lot actuel (par exemple, des entités spécifiques ou des conditions de cas limites rares).
• Preuve de Récurrence Globale (RuleBank) : Maintient une mémoire des règles généralisées acceptées. Un gradient n'est conservé que s'il dispose d'un soutien de récurrence suffisant à travers les étapes d'optimisation, indiquant qu'il capture la structure générale de la tâche plutôt qu'une correction ponctuelle.
• Action : Les gradients sont classés en Règles Généralisées (conservées et réécrites de manière concise), Correctifs de Cas (rejetés) ou Style Seulement (rejetés).

2. Régularisation des Éditions Sémantiques (SER)

Cette étape diagnostique l'inefficacité qui s'est déjà accumulée dans l'invite ou qui a été introduite par le processus de réécriture. Elle estime le changement d'inefficacité représentationnelle ($\Delta \log I(p)$) entre l'invite précédente ($p_{t-1}$) et l'invite actuelle ($p_t$) en utilisant une approche de différence finie :

• Canal de Capacité : Déclenché si la croissance relative de la longueur en tokens dépasse un seuil.
• Canal de Portée : Utilise un analyseur de différence sémantique pour déterminer si la composition des règles s'est rétrécie (ajout de correctifs spécifiques à un cas) ou élargie.
• Action : Si une dégradation est détectée, le SER synthétise un gradient de régularisation textuel ($g_{reg}$) instruisant le modèle à compresser l'invite, fusionner des règles redondantes, ou remplacer des règles étroites par des principes plus larges.

3. Mise à Jour de l'Invite Guidée par la Régularisation

L'étape finale effectue la réécriture de l'invite. Elle sélectionne un nouveau candidat d'invite ($p_{t+1}$) parmi un ensemble d'éditions fidèles à la tâche (ceux qui implémentent le gradient de tâche purifié $\tilde{g}_{task}$) qui est le plus compatible avec le gradient de régularisation ($g_{reg}$).

• La mise à jour privilégie l'amélioration de la tâche mais oriente la sélection vers des éditions qui minimisent les augmentations du coût de capacité ou du rétrécissement de la portée.
• Si aucun candidat ne satisfait les deux signaux, le système revient à la mise à jour fidèle à la tâche, garantissant que la régularisation agit comme une pénalité douce plutôt que comme une contrainte stricte qui arrêterait l'optimisation.

Contributions Clés

1. Formalisation de l'Efficacité Représentationnelle : L'article définit le surajustement distributionnel des invites comme un échec de l'efficacité représentationnelle dans l'optimisation de l'espace textuel discret, introduisant une mesure à double facteur ($I(p)$) qui capture l'interaction entre la longueur de l'invite et la spécificité des règles.
2. Optimisation Régularisée de l'Espace Textuel : TextReg introduit un cadre pour réaliser des objectifs de pénalité douce dans l'espace textuel sans paramètres différentiables, en utilisant la Purification du Gradient par Double Preuve, la Régularisation des Éditions Sémantiques et la Mise à Jour de l'Invite Guidée par la Régularisation.
3. Amélioration de la Généralisation OOD : Des expériences extensives démontrent que le contrôle de l'inefficacité représentationnelle atténue considérablement le surajustement, conduisant à des performances robustes à travers les jeux de données et les architectures de modèles.

Résultats Expérimentaux

Les auteurs ont évalué TextReg sur six benchmarks de raisonnement (Déduction Logique, Suivi d'Objets Mélangés, GSM8K, SVAMP, MultiArith) en utilisant quatre backends LLM différents (Qwen2, Phi-3.5, Llama-3, Llama-3.1). Les invites ont été optimisées sur des tâches « 3-objets » ou sources et testées sur des variantes « 5/7-objets » plus difficiles et sur différents jeux de données arithmétiques.

• Performance : TextReg a constamment surpassé les lignes de base (Zero-shot CoT, TextGrad et REVOLVE) sur la généralisation OOD.
  • Il a réalisé des gains de précision allant jusqu'à +11,8 % par rapport à TextGrad et +16,5 % par rapport à REVOLVE sur des benchmarks spécifiques.
  • Notamment, alors que les méthodes de base dégradent souvent la précision OOD en dessous de la ligne de base CoT non optimisée (exhibant un surajustement), TextReg préserve et étend les bénéfices de généralisation de CoT.
• Ablation : La suppression de l'un quelconque des trois composants principaux a entraîné une baisse constante des performances, confirmant leur nécessité conjointe.
• Résilience : TextReg a maintenu de solides performances même lorsque les LLM pilotant des rôles spécifiques (purification du gradient, analyse de régularisation ou réécriture d'invite) étaient dégradés vers des modèles plus faibles, suggérant que le signal de régularisation est structurel plutôt que limité par les capacités.

Signification et Revendications

L'article revendique que le surajustement distributionnel des invites est fondamentalement un échec de l'efficacité représentationnelle, et non simplement un artefact des dynamiques d'optimisation. En traitant l'optimisation des invites à travers le prisme de la régularisation — spécifiquement en contrôlant la croissance du coût de capacité et du rétrécissement de la portée — TextReg fournit un mécanisme principiel pour produire des invites qui généralisent au-delà de la distribution d'entraînement.

Les auteurs positionnent ce travail comme une avancée méthodologique rendant le comportement des invites plus prévisible et plus facile à auditer. Ils notent explicitement les limitations actuelles : le cadre cible le raisonnement en tour unique avec des règles comportementales bien définies, laissant la génération ouverte, les invites multi-tours et les instructions d'agents (où les structures de règles s'estompent) pour un travail futur.