💬 NLP

HE-SNR: Uncovering Latent Logic via Entropy for Guiding Mid-Training on SWE-bench

Cet article traite du manque de métriques efficaces en cours d'entraînement pour SWE-bench en introduisant une stratégie de filtrage des données et la métrique HE-SNR, fondée sur l'Hypothèse de Compression de l'Entropie, afin de mieux orienter l'optimisation des grands modèles de langage pour des tâches complexes d'ingénierie logicielle.

Auteurs originaux : Yueyang Wang, Jiawei Fu, Baolong Bi, Xili Wang, Xiaoqing Liu

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yueyang Wang, Jiawei Fu, Baolong Bi, Xili Wang, Xiaoqing Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formiez un apprenti brillant mais chaotique pour qu'il devienne un ingénieur logiciel maître. Vous possédez une immense bibliothèque de code (les données d'entraînement) et vous souhaitez savoir si l'apprenti apprend réellement à résoudre des problèmes complexes ou s'il se contente de mémoriser l'apparence des réponses.

Ce papier présente une nouvelle méthode pour vérifier les progrès de l'apprenti pendant qu'il apprend encore, avant de le soumettre à l'examen final, coûteux et ultime (qui implique un ajustement important des instructions de type humain).

Voici la décomposition de leur découverte, en utilisant des analogies simples :

1. Le Problème : Le Piège de la « Fausse Confiance »

Habituellement, lorsque nous vérifions si un ordinateur apprend, nous utilisons une métrique appelée Perplexité (PPL). Considérez la PPL comme un « compteur de surprise ». Si l'ordinateur est moins surpris par le mot suivant dans une phrase, cela indique qu'il s'en sort bien.

Cependant, les auteurs ont identifié deux gros problèmes avec ce compteur :

La « Taxe du Contexte Long » : Lorsque vous demandez à l'ordinateur de lire un document très long (comme un livre entier au lieu d'une page), le « compteur de surprise » s'emballe. Il s'emballe, donnant l'impression que l'ordinateur régresse, alors même qu'il devient plus intelligent. C'est comme un coureur qui trébuche sur ses lacets au début d'un marathon ; la chute ne signifie pas qu'il ne peut pas courir la course, mais le chronomètre semble mauvais.
Le « Mémorisateur par Cœur » vs le « Penseur » : L'ancien compteur récompense principalement les ordinateurs capables de deviner le mot exact suivant (comme un perroquet répétant une phrase). Mais résoudre de vrais bugs logiciels ne consiste pas à deviner le mot exact suivant ; il s'agit d'avoir quelques bonnes options à l'esprit et d'en choisir la bonne. L'ancien compteur ignore ce « processus de réflexion ».

2. La Nouvelle Idée : Mesurer l'« Hésitation Raisonnable »

Les auteurs proposent une nouvelle théorie : la véritable intelligence ne consiste pas à avoir zéro incertitude ; elle consiste à avoir une incertitude organisée.

Imaginez un détective résolvant un crime :

Un mauvais détective est soit sûr à 100 % de connaître le meurtrier (faible incertitude), soit complètement perdu et en train de deviner au hasard parmi 1 000 suspects (incertitude élevée et chaotique).
Un détective intelligent réduit le champ à seulement 3 suspects probables. Il « hésite » entre ces trois-là, mais il sait que c'est l'un d'eux. C'est ce qu'on appelle une « Hésitation Raisonnable ».

Le papier appelle cela un « État Compressé par l'Entropie ». Au lieu d'être confus face à 100 choses, un ordinateur intelligent est confiant dans sa confusion face à seulement 2 ou 3 choses.

3. La Découverte : Le « Passage à ln 3 »

Les auteurs ont observé le cerveau de l'ordinateur pendant l'entraînement et ont trouvé un nombre magique : ln 3 (qui est d'environ 1,1).

Début de l'entraînement : L'ordinateur est confus face à de nombreuses options (l'entropie est élevée et désordonnée).
Entraînement intelligent : À mesure que l'ordinateur s'améliore en logique, sa confusion se « compresse ». Même lorsqu'il ne connaît pas immédiatement la vraie bonne réponse, il réduit ses choix à un groupe serré d'environ 3 options.
Le Passage : Le papier a remarqué que les meilleurs modèles affichent systématiquement un « pic » dans leurs niveaux de confusion juste autour de ce nombre (ln 3). C'est comme si l'ordinateur disait : « Je ne suis pas sûr à 100 %, mais je suis sûr à 99 % que c'est l'un de ces trois. »

4. Le Nouvel Outil : HE-SNR (La Boussole « Signal-Bruit »)

Pour réparer le « compteur de surprise » défectueux, les auteurs ont construit un nouvel outil appelé HE-SNR.

Son fonctionnement : Au lieu de demander : « À quel point l'ordinateur est-il surpris par la vraie bonne réponse ? » (ce qui est l'ancienne méthode), HE-SNR demande : « Lorsque l'ordinateur est vraiment coincé et réfléchit intensément, à quel point réduit-il bien ses choix ? »
Filtrer le Bruit : Ils ont réalisé que les ordinateurs sont souvent distraits par le « style » (comme l'utilisation de mots sophistiqués ou de mises en forme) plutôt que par la « logique » (le code réel). Ils ont donc créé un filtre pour ignorer le style et ne regarder que les parties dures et logiques du code.
Le Résultat : Cette nouvelle boussole ignore les « trébuchements sur les lacets » (la Taxe du Contexte Long) et les « tours de perroquet » (la mémorisation). Elle ne mesure que l'« Hésitation Raisonnable ».

5. La Grande Surprise : La « Taxe d'Alignement »

Le papier a également découvert quelque chose de surprenant concernant la phase finale d'« ajustement des instructions » (où les humains apprennent à l'ordinateur à suivre des ordres).

Le Compromis : Lorsqu'ils ont appris à l'ordinateur à suivre les instructions parfaitement, l'ordinateur est devenu meilleur pour deviner la vraie bonne réponse (la précision Top-1 a augmenté).
Le Coût : Cependant, cet entraînement a en réalité détérioré l'« Hésitation Raisonnable ». L'ordinateur a cessé de considérer les 2 ou 3 autres bonnes options et s'est contenté d'en choisir une aveuglément.
La Conclusion : Les auteurs suggèrent qu'en forçant l'ordinateur à être trop confiant trop tôt, nous risquons d'écraser accidentellement sa capacité à réfléchir profondément à des problèmes complexes. L'ordinateur devient un meilleur « oui-man » mais un pire « détective ».

Résumé

Le papier soutient que pour construire de véritables ingénieurs logiciels intelligents, nous ne devrions pas seulement mesurer à quel point un ordinateur devine bien le mot suivant. Au lieu de cela, nous devrions mesurer à quel point il réduit sa confusion à un petit groupe d'options gérable.

Leur nouvel outil, HE-SNR, agit comme un projecteur qui ignore le « style » et les « trébuchements sur les lacets » de l'ordinateur, se concentrant uniquement sur sa capacité à penser logiquement et à gérer l'incertitude. Cela permet aux développeurs d'entraîner de meilleurs modèles plus rapidement et d'éviter le piège de créer des modèles confiants mais pas réellement intelligents.

Résumé Technique : HE-SNR : Révéler la Logique Latente via l'Entropie pour Guider le Mid-Training sur SWE-BENCH

Énoncé du Problème

L'évaluation des Grands Modèles de Langage (LLM) sur des tâches complexes d'ingénierie logicielle, en particulier via le benchmark SWE-BENCH, repose actuellement fortement sur le Fine-Tuning Supervisé (SFT) pour faire émerger des capacités agentiques. Cependant, les capacités de raisonnement fondamentales requises pour ces tâches sont acquises durant la phase de mid-training. Il existe une lacune critique en matière de métriques capables de guider efficacement ce processus de mid-training.

Les métriques standards comme la Perplexité (PPL) sont insuffisantes pour deux raisons principales :

Corrélation faible avec le potentiel agentique : La PPL corrèle fortement avec la précision Top-1, qui dépasse souvent 90 % sur des jeux de données curatés, mesurant ainsi la précision de la réplication plutôt que le potentiel de raisonnement latent requis pour des tâches agentiques complexes et multi-tours.
La « Taxe du Long Contexte » : Lors de l'extension des fenêtres de contexte (par exemple, de 32K à 128K) via une mise à l'échelle fréquentielle (par exemple, RoPE, YaRN), les modèles subissent un décalage distributionnel transitoire dans leurs embeddings positionnels. Cela provoque un pic temporaire de l'entropie prédictive et une dégradation de la PPL, masquant la croissance réelle des capacités et créant un signal trompeur pour l'optimisation de l'entraînement.

Par conséquent, il y a un besoin urgent d'une métrique robuste qui isole les signaux de raisonnement véritables, soit immunisée contre la Taxe du Long Contexte, et puisse prédire les performances SWE en aval sans le coût computationnel de l'évaluation post-SFT.

Méthodologie

1. Stratégie de Curatation et de Filtrage des Données

Pour isoler des signaux prédictifs de la capacité latente, les auteurs introduisent une stratégie rigoureuse de filtrage à l'échelle du token.

Sélection des Trajectoires : 500 trajectoires réussies issues de SWE-BENCH-VERIFIED sont curatées, assurant un alignement distributionnel strict avec les données de SFT.
Filtrage des Composantes : Les métriques sont calculées exclusivement sur les composantes Action (code exécutable, chemins de fichiers, commandes), en masquant les Observations (retours d'environnement) et en excluant les Pensées (traces de raisonnement souvent dominées par des artefacts stylistiques).
Réduction du Bruit : Les marqueurs structurels (balises XML), le markdown, les commentaires (via analyse AST) et les espaces blancs redondants sont supprimés pour se concentrer purement sur la correction fonctionnelle.

2. Insight Théorique : Hypothèse de Compression de l'Entropie

L'article propose l'Hypothèse de Compression de l'Entropie, redéfinissant l'intelligence non pas comme une minimisation scalaire de l'information (faible perte), mais comme la capacité à structurer l'incertitude en États Compressés par l'Entropie.

États Compressés par l'Entropie : Ce sont des états où la masse de probabilité est uniformément distribuée sur un petit ensemble des $k$ meilleurs candidats, se manifestant par des pics d'entropie distincts à $\ln k$ .
Le « Déplacement vers $\ln 3$ » : L'analyse empirique révèle que, à mesure que les modèles mûrissent, la masse de probabilité des tokens à haute entropie (spécifiquement les tokens Non-Top-2) passe d'un état dispersé (centré autour de $\ln 4$ ) à un état compressé à $\ln 3$ . Cela indique que le modèle réduit son incertitude à un ensemble raffiné de 2 à 3 candidats plausibles, qualifié d'« hésitation raisonnable ».
Différenciation : Ce déplacement se distingue de l'incertitude stochastique (par exemple, dans les tokens d'Observation impliquant des IDs aléatoires), qui présente des pics à $\ln 10$ et manque de la logique structurée du pic à $\ln 3$ .

3. Formulation de la Métrique : HE-SNR

Sur la base de l'hypothèse, les auteurs formulent le HE-SNR (Rapport Signal-sur-Bruit à Haute Entropie).

Ensemble de Décision à Haute Entropie ( $H$ ) : Tokens où l'entropie Top-10 dépasse un seuil $\epsilon = (\ln 3 + \ln 4)/2$ et où la vérité terrain se trouve parmi les 10 meilleurs candidats. Cela filtre les tokens présentant une divergence distributionnelle sévère tout en se concentrant sur les points critiques de raisonnement.
Calcul : Le HE-SNR mesure la force relative du signal cible par rapport au bruit de fond :
$\text{HE-SNR} = \frac{1}{|H|} \sum_{t \in H} \frac{p(x_t)}{H_{\text{top10}}(x_t)}$
où $p(x_t)$ est la probabilité du signal et $H_{\text{top10}}(x_t)$ est l'entropie Top-10 (bruit).
Robustesse : En normalisant le signal par rapport au plancher d'entropie, le HE-SNR atténue la Taxe du Long Contexte, qui gonfle l'entropie absolue mais ne dégrade pas nécessairement le rapport signal-sur-bruit relatif des chemins de raisonnement valides.

Résultats Clés

1. Corrélation avec les Performances en Aval

Supériorité sur la PPL : La PPL standard montre une mauvaise corrélation avec les scores Pass@1 de SWE-BENCH, échouant particulièrement à distinguer la croissance des capacités durant la Taxe du Long Contexte (par exemple, MoE-A26B à l'étape 200 d'un entraînement 128K montre une PPL dégradée mais une amélioration des performances SWE).
Linéarité du HE-SNR : Le HE-SNR démontre une relation strictement linéaire avec les performances SWE-BENCH en aval sur des modèles allant de 68B à 560B paramètres et des fenêtres de contexte de 32K/128K.
Efficacité des Données : La métrique proposée atteint une corrélation élevée (Pearson $r \approx 0,96$ , Kendall $\tau \approx 0,98$ ) en utilisant uniquement 500 trajectoires (~12,5M de tokens), réduisant considérablement les coûts d'évaluation.

2. Études d'Ablation

Impact du Filtrage : L'évaluation des tokens « Action » avec un filtrage complet (suppression du XML, des commentaires, des espaces blancs) surpasse nettement l'évaluation des tokens bruts, confirmant que le bruit stylistique obscurcit les signaux de raisonnement latents.
Robustesse du Seuil : Le seuil d'entropie choisi $\epsilon = (\ln 3 + \ln 4)/2$ est quasi-optimal, la métrique maintenant une corrélation élevée sur une plage de seuils, indiquant une solidité structurelle plutôt qu'un surajustement à une valeur spécifique.

3. Insights sur le SFT et la Taxe d'Alignement

Effets du SFT : Bien que le SFT améliore la PPL globale et la précision Top-1, il dégrade le HE-SNR et le HE-PPL sur l'Ensemble de Décision à Haute Entropie.
Mécanisme de la Taxe d'Alignement : Cela suggère que le SFT peut privilégier le matching de motifs superficiels et l'alignement stylistique au détriment de la capacité du modèle à naviguer dans des chemins de raisonnement complexes à haute entropie, offrant une explication novatrice de la « Taxe d'Alignement » dans les tâches agentiques.

Signification et Revendications

L'article revendique fournir à la fois un fondement théorique et des outils pratiques pour optimiser le potentiel latent des LLM dans des domaines d'ingénierie complexes.

Contribution Théorique : Il remet en question la vision de la compression scalaire de l'intelligence, proposant que le vrai raisonnement se caractérise par la compression structurée de l'incertitude en États Compressés par l'Entropie d'ordre inférieur (spécifiquement le « Déplacement vers $\ln 3$ »).
Utilité Pratique : Le HE-SNR sert de boussole robuste pour le mid-training, permettant une itération efficace en découplant la croissance réelle des capacités des artefacts transitoires comme la Taxe du Long Contexte.
Généralisabilité : Le phénomène de « Déplacement vers $\ln 3$ » est observé à travers différentes architectures (Dense et MoE) et domaines (Ingénierie Logicielle et Raisonnement Mathématique), suggérant qu'il s'agit d'une signature fondamentale du raisonnement logique structuré.

Les auteurs concluent qu'en se concentrant sur les points de décision à haute entropie et en utilisant le HE-SNR, la communauté peut mieux identifier les candidats sous-optimaux tôt, réduisant potentiellement les coûts computationnels et l'empreinte carbone associés à l'entraînement de modèles à grande échelle, tout en favorisant le développement de capacités de raisonnement plus robustes par rapport à la mémorisation par cœur.