Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty Mechanisms Overshadow Sound Ones

Résumé Technique : Échec par Interférence dans les Modèles de Langage

Énoncé du Problème
Malgré des avancées significatives dans les capacités de génération de code portées par l'augmentation de la taille des modèles et des données d'entraînement, les grands modèles de langage (LLM) continuent de lutter avec des tâches syntaxiques fondamentales, spécifiquement la génération de parenthèses équilibrées. Cet échec persiste même dans les modèles de pointe comme GPT-4 et Phi-3. Le défi central abordé dans ce travail est de comprendre les mécanismes internes qui causent ces erreurs. Alors que les recherches précédentes ont tenté de rétro-concevoir l'intégralité des circuits de calcul des LLM, les auteurs soutiennent que même des tâches simples impliquent des « sacs » de calculs complexes, rendant la rétro-conception ascendante difficile. Le papier postule que l'échec n'est pas dû à une absence de mécanismes corrects, mais à un échec d'interférence où des mécanismes défectueux éclipsent les mécanismes sains.

Méthodologie
L'étude emploie une approche d'interprétabilité descendante pour analyser sept LLM allant de 124M à 7B de paramètres (incluant des variantes de GPT-2, CodeLlama-7b, Llama2-7b et Pythia-6.9b). La méthodologie comprend trois phases primaires :

1. Décomposition de la Tâche et Identification des Mécanismes :
   La tâche des parenthèses équilibrées est décomposée en quatre sous-tâches basées sur le nombre de parenthèses fermantes ($N=1, 2, 3, 4$) requis, tel que déterminé par le comportement du tokenizer. Les auteurs utilisent la technique de la « lentille de logit » (logit lens) pour projeter les activations de composants individuels (têtes d'attention et neurones Feed-Forward) dans l'espace du vocabulaire.

   • L'Algorithme 1 mesure la correction de la tâche en vérifiant si la projection du logit d'un composant produit la valeur la plus élevée pour le jeton de vérité terrain par rapport aux distracteurs.
   • L'Algorithme 2 identifie la promotion de jeton en vérifiant si un composant promeut un jeton cible au-dessus d'un seuil spécifique.

2. Caractérisation des Mécanismes :
   Les auteurs catégorisent les composants en « mécanismes sains » (fiables, généralisables à travers les sous-tâches) et « mécanismes défectueux » (peu fiables, introduisant du bruit). Ils analysent la précision et le rappel de ces composants, observant que les LLM reposent létargiquement sur une « promotion bruitée », où les composants s'activent pour des jetons corrects et incorrects, plutôt que de compter sur des mécanismes hautement sélectifs et précis.

3. RASTEER (Classement et Pilotage) :
   Motivés par la découverte que les erreurs proviennent de l'éclipse des mécanismes sains par les mécanismes défectueux, les auteurs proposent RASTEER. Cette méthode :

   • Classe les composants du LLM en fonction de leur fiabilité (en utilisant des métriques telles que le rappel, la précision et le score F1) et de leur généralisabilité à travers les sous-tâches.
   • Pilote le modèle en mettant à l'échelle l'activation des composants les mieux classés (têtes d'attention ou neurones FF) par un multiplicateur $\alpha \in [1.1, 2.0]$ avant qu'ils ne soient ajoutés au flux résiduel. Cela amplifie la contribution des composants fiables aux logits finaux.

Contributions Clés

• Aperçu Mécaniste : Le papier révèle que les LLM ne reposent pas sur un mécanisme unique pour les tâches syntaxiques, mais plutôt sur un ensemble diversifié de composants aux fiabilités variables. Crucialement, il identifie que les LLM échouent non pas parce que les mécanismes sains sont absents, mais parce que les mécanismes défectueux introduisent du bruit qui éclipse les mécanismes sains.
• Promotion Bruyée : L'étude caractérise une stratégie de « promotion bruitée » où les composants promeuvent souvent des jetons corrects et des distracteurs, le jeton correct recevant un boost plus fort mais non exclusif.
• Cadre RASTEER : Les auteurs introduisent une méthode de pilotage qui identifie et amplifie systématiquement les composants fiables sans nécessiter la reconstruction de circuits de calcul complets.
• Comparaison avec la Base de Référence de Circuit : Le travail contraste RASTEER avec une « base de référence de circuit » dérivée de l'interprétabilité mécaniste (activation patching). Il démontre que si la découverte de circuits est efficace pour les modèles plus grands, elle échoue à fournir des stratégies de pilotage cohérentes pour les modèles plus petits, tandis que RASTEER réussit pour toutes les tailles.

Résultats

• Performance des Parenthèses Équilibrées : RASTEER améliore substantiellement la performance sur la tâche des parenthèses équilibrées. Pour plusieurs modèles (ex: GPT-2 XL), la précision sur les sous-tâches de trois et quatre parenthèses a été augmentée de 0 % à environ 100 % en pilotant seulement les 10 à 60 meilleures têtes d'attention.
• Efficacité des Composants : Le pilotage des têtes d'attention s'est avéré nettement plus efficace que le pilotage des neurones FF. La promotion des têtes d'attention les mieux classées a obtenu des résultats comparables à la promotion conjointe, tandis que la promotion des neurones FF seule n'a produit que peu ou pas d'amélioration, particulièrement pour les petits modèles.
• Généralisabilité :
  • Génération de Code : Le pilotage pour la tâche des parenthèses n'a pas dégradé les capacités de codage générales sur le benchmark HumanEval. En fait, Llama2-7b a vu une amélioration modeste de 5,49 %.
  • Raisonnement Arithmétique : La méthode s'est généralisée à une tâche de raisonnement arithmétique à deux opérandes, atteignant des gains de performance allant jusqu'à 20,25 % (ex: pour Pythia-6.9b en multiplication).
• Échec de la Base de Référence de Circuit : La base de référence de circuit a échoué à améliorer la performance sur les modèles plus petits (variantes de GPT-2) et, dans certains cas, a provoqué une baisse de performance à mesure que davantage de têtes étaient promues, suggérant que les composants identifiés comme causalement importants pour les étapes intermédiaires peuvent introduire de l'instabilité lorsqu'ils sont pilotés.

Signification et Revendications
Le papier affirme que la persistance des erreurs syntaxiques dans les LLM est le résultat d'une interférence entre des mécanismes internes concurrents plutôt que d'une incapacité fondamentale à apprendre la tâche. En identifiant qu'un sous-ensemble restreint de composants hautement fiables et généralisables existe au sein du modèle, les auteurs démontent que la performance peut être récupérée en amplifiant ces signaux spécifiques.

La signification de ce travail réside dans son passage d'une tentative de rétro-conception complète de circuits complexes vers une approche fonctionnelle de « pilotage » basée sur la fiabilité des composants. Les auteurs notent que bien que RASTEER soit efficace, l'étude repose sur des données synthétiques et suppose un motif additif simple pour le calcul du modèle (où le logit final est la somme des contributions des composants). Ils reconnaissent que cette hypothèse peut omettre des mécanismes non-additifs, tels que la suppression active du bruit, ce qui reste une direction ouverte pour de futures recherches. Le travail suggère que l'interprétabilité fonctionnelle — se concentrant sur les composants à haut impact pour une intervention pratique — est une voie viable et sous-explorée pour améliorer la performance des modèles sans réentraînement.