Résumé Technique : L'Arithmétique dans la Nature

Énoncé du Problème

L'article examine le rôle algorithmique de la géométrie des représentations dans les grands modèles de langage (LLM), en se concentrant spécifiquement sur la manière dont les modèles raisonnent à propos de concepts cycliques (par exemple, les mois, les jours de la semaine, les heures). Alors que des travaux antérieurs ont établi que les LLM représentent ces concepts à l'aide d'une géométrie circulaire (Engels et al., 2025) et que de petits transformateurs entraînés sur l'arithmétique modulaire opèrent sur des bases périodiques (Nanda et al., 2023), une question critique demeure : La structure circulaire de la représentation d'entrée implique-t-elle un calcul circulaire ?

Les auteurs émettent l'hypothèse que Llama-3.1-8B pourrait calculer les réponses à des questions telles que « Quel mois est six mois après août ? » en se déplaçant le long d'une variété circulaire. Cependant, ils constatent que le modèle n'effectue pas d'arithmétique modulaire directe au sein de la période spécifique du concept (par exemple, modulo 12 pour les mois). Au lieu de cela, le modèle utilise un mécanisme générique, agnostique à la tâche, d'addition en base 10 avant de mapper le résultat de nouveau vers l'espace cyclique.

Méthodologie

L'étude emploie une combinaison d'analyse causale et de sondage géométrique pour disséquer les mécanismes internes de Llama-3.1-8B.

1. Abstraction Causale via la Recherche d'Alignement Distribué (DAS) :

   • Les auteurs utilisent DAS (Geiger et al., 2023) pour localiser des sous-espaces de faible rang dans le flux résiduel qui encodent des variables causales : le concept d'entrée, le décalage et le concept de sortie.
   • Ils mesurent la Précision des Interventions d'Échange (IIA) pour déterminer quand et où ces variables sont combinées. Cela consiste à patcher des états cachés provenant d'invites contrefactuelles dans des invites originales pour voir si la sortie du modèle change de manière prévisible.
   • Cette analyse isole la couche spécifique et la position du token où le calcul a lieu.

2. Patchage Inter-tâches :

   • Pour tester l'hypothèse d'un mécanisme partagé, les auteurs réalisent des expériences de « patchage » entre des tâches arithmétiques standards ($a+b=$) et des tâches cycliques (par exemple, les mois).
   • Ils patchent le flux résiduel d'une invite d'addition dans une invite cyclique (et vice versa) au sein des sous-espaces DAS partagés pour observer si le modèle produit la somme ou le concept cyclique, respectivement.

3. Sondage et Pilotage par Transformée de Fourier :

   • Les auteurs entraînent des sondes linéaires pour détecter des caractéristiques de Fourier (représentations sinusoïdales) avec des périodes spécifiques $T \in \{2, 5, 10, 20, 50, 100\}$, connues pour représenter des nombres en base 10 (Kantamneni & Tegmark, 2025).
   • Ils vérifient si ces caractéristiques, entraînées sur l'addition standard, sont présentes et causales dans les tâches cycliques.
   • Ils utilisent ces sondes pour piloter l'état interne du modèle, forçant la « somme pré-modulo » vers une valeur contrefactuelle pour voir si la sortie se déplace en conséquence.

4. Identification et Ablation de Neurones :

   • Les auteurs identifient un ensemble sparse de neurones MLP à la couche 18 qui écrivent dans les sous-espaces de sortie DAS.
   • Ils analysent les motifs d'activation de ces neurones, en les partitionnant en clusters basés sur leur périodicité.
   • Ils réalisent des études d'ablation (mise à zéro de neurones spécifiques) pour quantifier leur contribution causale aux performances du modèle.

Résultats Clés

1. Un Mécanisme d'Addition en Base 10 Partagé

Contrairement à l'hypothèse d'un calcul circulaire, le modèle calcule les tâches cycliques en utilisant un mécanisme d'addition en base 10.

• Processus en Deux Étapes : Le modèle calcule d'abord la somme des entrées dans l'espace numérique (par exemple, $6 + 8 = 14$) et ne mappe cette somme de retour vers l'espace des concepts cycliques (par exemple, $14 \to \text{Février}$) que dans des couches ultérieures.
• Localisation à la Couche 18 : L'analyse causale révèle que les concepts d'entrée et les décalages sont combinés au niveau du MLP de la couche 18 à la position du dernier token. Crucialement, la géométrie circulaire du concept de sortie (par exemple, le « cercle des jours de la semaine ») n'est pas présente à la couche 18 ; elle n'émerge que dans les couches 22–25.
• Patchage Inter-tâches : Le patchage d'une invite d'addition ($6+8=$) vers une invite cyclique amène le modèle à produire le concept cyclique correspondant à la somme (par exemple, Février). Inversement, le patchage d'une invite cyclique vers une invite d'addition amène le modèle à produire la somme pré-modulo (par exemple, 14), même si le modèle échoue à produire la réponse cyclique correcte dans une exécution propre.

2. Caractéristiques de Fourier et Agnosticisme Tâche

Le modèle utilise des caractéristiques de Fourier agnostiques à la tâche pour effectuer l'addition.

• Les représentations internes respectent les périodicités standards en base 10 ($T \in \{2, 5, 10, 20, 50, 100\}$) plutôt que la période spécifique du concept cyclique (par exemple, 12 pour les mois ou 7 pour les jours de la semaine).
• Les sondes de Fourier entraînées sur l'addition standard pilotent avec succès les tâches cycliques, confirmant que les mêmes caractéristiques géométriques pilotent le calcul à travers les domaines.

3. Circuit de Neurones Sparse

Les auteurs identifient un ensemble sparse de 28 neurones MLP à la couche 18 (environ 0,2 % du MLP de la couche) qui sont responsables de cette addition.

• Regroupés par Période : Ces neurones peuvent être partitionnés en clusters disjoints, où chaque cluster calcule la somme pour une période de Fourier spécifique (par exemple, un cluster pour $T=2$, un autre pour $T=5$, etc.).
• Mécanisme : Les neurones opèrent de manière distribuée. Certains neurones présentent des motifs d'activation « divisés » (lisant le concept d'entrée via le vecteur de porte et le décalage via le vecteur up), tandis que d'autres sont « mixtes ». Leurs vecteurs de projection down s'additionnent pour former un vecteur pointant vers le bon angle sur le plan de Fourier, encodant la somme modulo $T$.
• Impact de l'Ablation : L'ablation à zéro de ces 28 neurones provoque une chute drastique de la précision (par exemple, de 95 % à 24 % pour l'addition), tandis que l'ablation de tous les autres neurones de la couche 18 conserve la majeure partie des performances.

Signification et Revendications

L'article prétend fournir une compréhension mécaniste de la manière dont les grands modèles de langage effectuent l'arithmétique sur des concepts cycliques, comblant le fossé entre la géométrie des représentations et le calcul causal.

• Géométrie vs Calcul : Le travail démontre que, bien que les représentations puissent être circulaires, le calcul sous-jacent n'est pas nécessairement une arithmétique modulaire sur ce cercle. Au lieu de cela, le modèle réutilise un circuit générique d'addition en base 10, en mappant le résultat vers le domaine cible uniquement après que le calcul est terminé.
• Interaction des Méthodes : L'étude met en évidence la puissance de la combinaison de l'abstraction causale (pour localiser où l'information est traitée) avec l'analyse géométrique (pour comprendre comment elle est représentée). L'analyse causale a localisé le calcul à la couche 18, tandis que l'analyse géométrique a révélé que le calcul repose sur des caractéristiques de Fourier en base 10 plutôt que sur des structures circulaires spécifiques à la tâche.
• Circuits Sparse : L'identification d'un petit ensemble réutilisable de neurones (28 neurones) qui effectuent l'addition à travers diverses tâches (mois, jours, heures, nombres) suggère que les LLM développent des sous-circuits partagés hautement efficaces pour les opérations arithmétiques fondamentales, indépendamment du domaine sémantique de l'entrée.

Les auteurs restent modestes concernant la généralisation, notant que ces mécanismes spécifiques ont été identifiés dans Llama-3.1-8B et peuvent ne pas se généraliser à tous les modèles ou à tous les types de raisonnement cyclique (par exemple, les décalages inverses ou les requêtes de distance étaient hors du champ d'application). Cependant, les résultats offrent un exemple concret de la manière dont « l'arithmétique dans la nature » est mise en œuvre via l'interaction de neurones sparse et de la géométrie de Fourier.