Résumé Technique : Cohérence Conjointe (JC)

Définition du Problème

L'article aborde l'Agrégation au Moment du Test (TTA), le problème consistant à sélectionner une seule réponse fiable parmi un ensemble de $N$ traces de raisonnement candidates générées pour une requête spécifique. Bien que les méthodes existantes d'Échelle au Moment du Test (TTS) génèrent efficacement plusieurs traces, leurs stratégies d'agrégation souffrent souvent de deux limitations :

1. Isolement : La plupart des méthodes (par exemple, la Cohérence de Soi, la Cohérence de Soi Pondérée) évaluent les traces indépendamment, en s'appuyant sur des scores de qualité absolue ou des fréquences de réponse. Cela ignore l'information comparative entre les candidats.
2. Difficulté de Calibration : L'évaluation indépendante exige que l'évaluateur produise des scores absolus bien calibrés, ce qui est souvent difficile à atteindre, en particulier à travers des générateurs de modèles hétérogènes.
3. Évolutivité des Comparaisons : Bien que les jugements comparatifs (par exemple, « La trace A est meilleure que la trace B ») soient souvent plus fiables que les scores absolus, intégrer naïvement toutes les comparaisons par paires entraîne un coût computationnel de $O(N^2)$, ce qui est prohibitif pour de grands budgets de traces.

Les auteurs posent la question suivante : Comment intégrer les jugements comparatifs par paires dans l'agrégation au moment du test de manière rigoureuse et computationnellement efficace ?

Méthodologie : Cohérence Conjointe (JC)

Les auteurs proposent la Cohérence Conjointe (JC), un cadre unifié formulé comme un problème de minimisation d'énergie de type Ising contraint.

1. La Fonction d'Énergie

L'objectif de l'agrégation est de trouver un vecteur indicateur $x \in \{0, 1\}^N$ (où $x_i=1$ si la trace $i$ est sélectionnée) qui minimise la fonction d'énergie $H(x)$ :
$$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$$
Où :

• $K$ est le nombre de réponses candidates distinctes.
• Contrainte : L'ensemble réalisable restreint $x$ à sélectionner exactement un groupe de réponses (toutes les traces produisant la même réponse).
• $h$ (Champ Externe) : Un vecteur codant les signaux d'évaluation indépendants (par exemple, les scores d'un LLM agissant comme juge pour des traces individuelles).
• $J$ (Matrice d'Interaction) : Une matrice codant les signaux comparatifs par paires (par exemple, les probabilités que la trace $i$ soit préférée à la trace $j$).
• $\mu$ (Hyperparamètre) : Contrôle le compromis entre l'évaluation indépendante et les interactions par paires.

2. Construction de la Matrice d'Interaction ($J$)

La matrice $J$ est construite à l'aide de comparaisons LLM-agissant-comme-juge.

• Probabilités par Paires : Pour des traces $y_i$ et $y_j$, le juge estime $p_\theta(y_i \succeq y_j)$, la probabilité que $y_i$ soit meilleure que $y_j$.
• Construction Semi-Définie Positive : Pour assurer la stabilité et l'interprétabilité, $J$ est définie comme $J = CC^\top$, où l'entrée $C_{ij}$ est une version normalisée de la probabilité de préférence :
  $$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$$
  Ici, $n_i$ est le nombre de traces partageant la même réponse que $y_i$. Cette construction implique que deux traces ont une interaction forte si elles sont toutes deux préférées à des ensembles similaires de traces concurrentes.

3. Interprétation Théorique

Sous une hypothèse d'homogénéité au niveau de la réponse (où toutes les traces pour une réponse donnée $a^{(k)}$ ont des probabilités de préférence par paires identiques contre les traces d'une autre réponse $a^{(k')}$), le terme quadratique $x^\top J x$ se simplifie en une somme de préférences au niveau de la réponse. Cela fournit une justification théorique pour convertir les comparaisons au niveau des traces en une règle d'agrégation au niveau de la réponse.

4. Stratégie d'Approximation Efficace

Pour résoudre le coût $O(N^2)$ du calcul de $J$ pour toutes les paires de traces, les auteurs proposent une approximation Top-$\kappa$ :

• Au lieu de comparer toutes les $N$ traces, les interactions sont estimées uniquement entre les groupes de réponses les plus fréquents du Top-$\kappa$.
• Cela réduit la complexité de $O(N^2)$ à $O(\kappa^2)$, où $\kappa$ est un petit budget de cohérence (par exemple, $\kappa=4$).
• L'optimisation de la fonction d'énergie elle-même est traitable ($O(K)$ ou $O(\kappa)$) car l'ensemble réalisable est restreint à $K$ (ou $\kappa$) groupes de réponses candidates, évitant ainsi la nature NP-difficile de l'optimisation binaire quadratique sans contrainte (QUBO) générale.

Contributions Clés

1. Intégration des Signaux Comparatifs : JC introduit un modèle de minimisation d'énergie contraint qui intègre les signaux comparatifs par paires via une matrice d'interaction $J$, ainsi que des signaux indépendants via un champ externe $h$.
2. Cadre Unificateur : La formulation englobe les méthodes existantes comme cas particuliers :
   • Cohérence de Soi (SC) : $J=0, \mu=0$ (ou $h$ spécifique).
   • Cohérence de Soi Pondérée (WSC) : $J=0, \mu > 0$.
   • Interaction seule : $\mu=0$.
   • En faisant varier $\mu$, JC interpole entre ces stratégies.
3. Évolutivité : L'approximation Top-$\kappa$ proposée rend la modélisation des interactions pratique pour l'agrégation à grande échelle, conservant les avantages des comparaisons par paires avec des coûts comparables au vote pondéré standard.

Résultats Expérimentaux

Les auteurs ont évalué JC sur des benchmarks de raisonnement mathématique (MathArena : AIME, HMMT, Brumo) et de raisonnement en code (CruxEval-O).

• Contextes Crowdsourcés (Traces Hétérogènes) :
  • JC a systématiquement surpassé les lignes de base (SC, WSC, Best-of-N, Tournoi d'Élimination) sur divers modèles juges (Qwen, DeepSeek, variantes GPT) et budgets de traces.
  • Sur MathArena-C (sous-ensemble difficile), JC avec un petit $\kappa=4$ a réalisé des gains de précision de plus de 20 % par rapport à WSC.
  • JC est resté robuste même lorsque les traces étaient générées par des modèles de niveau inférieur, où les scores indépendants étaient peu fiables mais où la cohérence comparative restait efficace.
• Contextes Homogènes (Signaux Intrinsèques) :
  • Dans des contextes où les log-probabilités au niveau des tokens étaient disponibles (par exemple, DeepSeek-R1, Qwen3), JC a continué à surpasser les lignes de base d'évaluation intrinsèque comme la Certitude de Soi et DeepConf.
  • Le gain de performance de JC par rapport à la ligne de base la plus forte augmentait à mesure que le nombre de traces ($N$) augmentait, indiquant de meilleures propriétés d'évolutivité.
• Efficacité Coûteuse :
  • Le coût de la phase d'évaluation JC (interrogation du juge pour $h$ et $J$) s'est avéré inférieur à 1 % du coût de génération des traces de raisonnement.
  • La méthode est robuste au choix de $\mu$ (plage optimale généralement $[0.5, 1]$) et ne nécessite pas de réglage fin pour des modèles juges spécifiques.

Importance et Revendications

L'article revendique que la Cohérence Conjointe fournit une approche rigoureuse et unifiée de l'agrégation au moment du test qui comble le fossé entre l'évaluation indépendante et la comparaison par paires.

• Insight Théorique : Elle présente l'agrégation comme un problème de minimisation d'énergie, offrant une interprétation théorique de la manière dont les comparaisons par paires s'agrègent au niveau de la réponse.
• Impact Pratique : Elle démontre que l'exploitation des signaux comparatifs via une stratégie d'approximation efficace produit des gains constants par rapport aux lignes de base de l'état de l'art, sans surcharge computationnelle prohibitive.
• Limites : Les auteurs notent modestement que le travail actuel se concentre sur l'agrégation de réponses finales dans des tâches de raisonnement ; la généralisation au raisonnement ouvert ou à la résolution de problèmes au niveau de la recherche reste à prouver. De plus, la construction spécifique de la matrice d'interaction $J$ peut ne pas être optimale, et la méthode hérite des limitations des modèles de génération et de juge sous-jacents.