Résumé Technique : Accord dans l'Espace de Représentation pour l'Auto-Cohérence Ouverte

Énoncé du Problème

L'auto-consistance (self-consistency) est devenue une stratégie majeure d'inférence pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Les méthodes classiques, telles que celles proposées par Wang et al. (2022), fonctionnent en échantillonnant plusieurs chemins de raisonnement et en sélectionnant la réponse finale la plus fréquente via un vote majoritaire. Bien qu'extrêmement efficaces pour les tâches à sorties catégorielles (ex. : raisonnement mathématique, questions à choix multiples), cette approche repose sur une correspondance symbolique exacte.

Étendre l'auto-consistance aux tâches de génération ouverte — telles que la synthèse de code, le résumé de texte et le raisonnement libre — présente un défi important. Dans ces contextes, des réponses sémantiquement équivalentes diffèrent souvent substantiellement au niveau lexical ou structurel, rendant la correspondance exacte inefficace. Des tentatives récentes pour y remédier, comme l'Universal Self-Consistency (USC) (Chen et al., 2023) qui utilise l'évaluation par LLM, ou le Self-Certainty (SCe) (Kang et al., 2026) qui repose sur des signaux d'incertitude, introduisent de nouvelles limites concernant la scalabilité, le coût computationnel et la stabilité.

Méthodologie : Accord Basé sur l'Embedding (EBA)

Les auteurs émettent l'hypothèse que l'auto-consistance dans la génération ouverte n'est pas seulement une propriété de chevauchement symbolique, mais une propriété géométrique de l'espace de génération. Plus précisément, ils postulent que les générations sémantiquement compatibles se concentrent dans des régions similaires et denses de l'espace de représentation, tandis que les générations incohérentes ou de faible qualité apparaissent isolées ou distribuées de manière clairsemée.

Pour opérationnaliser cette hypothèse, l'article introduit l'Embedding-Based Agreement (EBA), un cadre sans entraînement qui estime la consistance via les étapes suivantes :

1. Échantillonnage : Étant donné un prompt d'entrée $x$, $N$ générations candidates $\{y_1, \dots, y_N\}$ sont échantillonnées à partir d'un modèle de langage.
2. Embedding : Chaque génération est projetée dans un espace de représentation continu via une fonction d'embedding $\phi(\cdot)$, produisant des vecteurs $\{e_1, \dots, e_N\}$.
3. Clustering : Les embeddings sont regroupés par clustering agglomératif avec la distance cosinus. Le nombre de clusters est déterminé automatiquement via l'analyse de la silhouette.
4. Sélection : Les clusters contenant un plus grand nombre de générations sont interprétés comme des régions de fort accord. La prédiction finale est sélectionnée comme étant l'échantillon le plus proche du centroïde du cluster dominant.

Le cadre est conçu pour être indépendant du modèle (model-agnostic) et ne nécessite ni entraînement supplémentaire, ni évaluateurs LLM externes pour le processus de sélection.

Principales Contributions

1. Interprétation Géométrique de l'Auto-Consistance : L'article reformule l'auto-consistance, passant d'un mécanisme de vote discret à un phénomène géométrique où l'accord émerge de l'organisation collective des générations échantillonnées dans l'espace de représentation.
2. Cadre EBA : L'introduction d'une méthode simple, sans entraînement (EBA), qui exploite le clustering dans l'espace d'embedding pour sélectionner des sorties de haute qualité pour les tâches ouvertes.
3. Validation Empirique : Expérimentations exhaustives sur trois domaines distincts : raisonnement mathématique (MATH500), génération de code (HumanEval) et résumé (CNN/DM).
4. Analyse de la Mise à l'Échelle et de la Robustesse : L'étude démontre que les signaux d'accord se renforcent avec l'augmentation des budgets d'échantillonnage et restent robustes à travers différentes familles de modèles (Llama, Qwen), échelles de modèles (8B à 70B) et espaces d'embedding (modèles pré-entraînés vs représentations cachées natives).
5. Corrélation Géométrique de la Qualité : L'analyse révèle une forte corrélation entre la position géométrique d'une génération et sa qualité. Les générations concentrées près des régions centrales de l'espace de représentation produisent des résultats plus fiables, tandis que les générations périphériques sont nettement moins précises.

Résultats Expérimentaux

Les auteurs ont évalué l'EBA par rapport à la sélection aléatoire, l'USC et le SCe en utilisant les modèles Llama 3.1-8B/70B et Qwen 3-8B/32B.

• Amélioration de la Performance : L'EBA surpasse systématiquement la sélection aléatoire. Les améliorations sont plus marquées dans la génération de code (jusqu'à +4 points sur HumanEval) et le raisonnement mathématique (jusqu'à +17 points sur MATH500). Les gains en résumé sont plus faibles mais constants (+1 point ROUGE-1).
• Comportement de Mise à l'Échelle : Contrairement à l'USC, qui se dégrade souvent lorsque le nombre de candidats augmente en raison des limites de contexte ou du bruit d'évaluation, et au SCe, qui montre une mise à l'échelle instable, l'EBA présente une amélioration stable et quasi-monotone à mesure que le budget d'échantillonnage ($n$) augmente de 1 à 256.
• Robustesse : L'efficacité de l'EBA se maintient à travers différents modèles d'embedding (Qwen, Gemma) et même lors de l'utilisation de représentations cachées natives extraites directement du modèle de génération, suggérant que le signal est intrinsèque à la distribution de génération.
• Lien avec l'Auto-Consistance Classique : Sur MATH500, lorsqu'appliqué aux réponses finales extraites, l'EBA reflète étroitement le comportement de mise à l'échelle du vote majoritaire classique, suggérant qu'il s'agit d'une extension continue du principe original d'auto-consistance.

Signification et Revendications

L'article affirme que considérer l'auto-consistance comme une propriété géométrique des générations échantillonnées offre une perspective unifiée pour les tâches catégorielles et ouvertes. La principale importance de ce travail réside dans :

• La fourniture d'une alternative robuste, scalable et efficace sur le plan computationnel à l'évaluation par LLM pour sélectionner des sorties cohérentes dans la génération ouverte.
• La démonstration que les signaux de consistance sont stables à travers les échelles de modèles et les espaces d'embedding, y compris les représentations natives.
• L'établissement que le "centre" de l'espace de représentation occupé par une distribution de générations est un indicateur fort de la fiabilité de la sortie.

Les auteurs concluent que leurs résultats soutiennent un changement de compréhension de l'auto-consistance, passant d'un chevauchement symbolique exact vers l'organisation géométrique de l'espace de génération, ouvissant ainsi de nouvelles directions pour la sélection au moment de l'inférence basée sur la structure de l'espace de représentation.

Limites

L'article reconnaît plusieurs limites :

• Géométrie de la Représentation : Les espaces d'embedding actuels peuvent présenter des structures géométriques à faible séparation (ex. : concentration dans des cônes de haute dimension étroits), ce qui signifie que la proximité n'équivaut pas toujours parfaitement à l'équivalence sémantique.
• Heuristiques de Clustering : Le recours au clustering agglomératif et à l'analyse de la silhouette peut ne pas capturer pleinement les structures locales fines dans l'espace de génération.
• Surcharge Computationnelle : Bien que moins coûteux que l'évaluation par LLM, l'EBA nécessite tout de même de générer de multiples échantillons et de calculer des embeddings, ce qui peut être coûteux pour de très gros budgets d'échantillonnage ou des générations longues.
• Portée : L'évaluation est limitée au résumé, au code et aux mathématiques ; une évaluation supplémentaire dans des domaines comme le dialogue ou le raisonnement agentique est nécessaire.