FUSE: Ensembling Verifiers with Zero Labeled Data

1. Problématique et Contexte

L'amélioration des performances des grands modèles de langage (LLM) repose de plus en plus sur le scaling au moment de l'inférence (test-time scaling), notamment via des stratégies comme le Best-of-N (BoN). Dans cette approche, $N$ réponses sont générées pour une même requête, et un vérificateur (ou modèle de récompense) sélectionne la meilleure réponse.

Cependant, plusieurs défis majeurs se posent :

• Coût des étiquettes : Obtenir des étiquettes de vérité terrain (ground truth) via des experts humains est coûteux et lent.
• Imperfection des vérificateurs : Les vérificateurs utilisés (autres LLM ou modèles de récompense) sont imparfaits et peuvent avoir des performances variables selon la requête.
• Limites des méthodes actuelles : Les méthodes d'assemblage simples (vote majoritaire, moyenne des scores) traitent tous les vérificateurs de manière égale, ignorant leurs différences de qualité. Les méthodes semi-supervisées (comme WEAVER) nécessitent un petit ensemble de données étiquetées pour apprendre à pondérer les vérificateurs, ce qui n'est pas toujours disponible.

Objectif : Développer une méthode pour assembler efficacement plusieurs vérificateurs et sélectionner la meilleure réponse sans aucune donnée étiquetée (fully unsupervised).

2. Méthodologie : FUSE (Fully Unsupervised Score Ensembling)

FUSE propose un cadre algorithmique en trois étapes pour estimer la qualité des vérificateurs et construire un assemblage optimal sans vérité terrain.

A. Estimation des qualités via la méthode des moments (MoM)

Le papier s'appuie sur la littérature de l'apprentissage d'ensemble non supervisé (notamment Jaffe et al., 2015), qui utilise la structure de covariance des sorties des classificateurs pour estimer leur sensibilité et spécificité.

• Hypothèse de base : L'algorithme original suppose une indépendance conditionnelle triple (TCI) : étant donné la vérité terrain, les scores de trois vérificateurs distincts sont indépendants.
• Problème : Dans le contexte des LLM, cette hypothèse est souvent violée (les vérificateurs sont corrélés).
• Innovation de FUSE : Au lieu de supposer la TCI, FUSE introduit une mesure empirique des violations de TCI calculable sans étiquettes.
  • Il définit une transformation $g_\tau$ (par exemple, une binarisation avec des seuils $\tau$) des scores bruts des vérificateurs.
  • Il optimise ces seuils $\tau^*$ pour minimiser la violation de la TCI (en minimisant la variance d'une statistique spécifique dérivée des tenseurs de covariance d'ordre 2 et 3).
  • Une fois les scores transformés ($\tilde{V}$) satisfaisant mieux la TCI, l'algorithme de Jaffe et al. (2015) est appliqué pour estimer de manière cohérente la sensibilité ($\psi$) et la spécificité ($\eta$) de chaque vérificateur.

B. Construction de pseudo-étiquettes et optimisation

Une fois les qualités des vérificateurs estimées ($\hat{\psi}, \hat{\eta}$), FUSE ne se contente pas d'utiliser une formule fermée (qui nécessiterait une hypothèse d'indépendance conditionnelle jointe forte, souvent fausse).

• Estimation des probabilités a posteriori : FUSE calcule des probabilités de vraisemblance pour chaque réponse en utilisant les estimations de sensibilité/spécificité et l'hypothèse TCI sur des triplets de vérificateurs. Ces probabilités servent de pseudo-étiquettes.
• Optimisation de l'assemblage : Ces pseudo-étiquettes sont utilisées pour entraîner un classifieur paramétrique (par exemple, une régression logistique) qui apprend à pondérer les scores des vérificateurs. L'objectif est de maximiser la précision estimée de l'assemblage sur les données non étiquetées.

C. Algorithme global

1. Transformation : Binarisation adaptative des scores pour minimiser les violations de TCI.
2. Estimation : Calcul des sensibilités et spécificités via la méthode des moments sur les scores transformés.
3. Assemblage : Construction de pseudo-étiquettes et optimisation d'un modèle d'agrégation (ex: régression logistique) pour sélectionner la réponse finale.

3. Contributions Clés

1. Méthode entièrement non supervisée : FUSE atteint des performances compétitives (et parfois supérieures) par rapport aux méthodes semi-supervisées (utilisant 5% de données étiquetées) sans utiliser aucune vérité terrain.
2. Gestion des dépendances : Contrairement aux méthodes précédentes qui échouent lorsque les hypothèses d'indépendance sont violées, FUSE adapte dynamiquement les scores pour satisfaire une hypothèse d'indépendance conditionnelle triple (TCI) plus faible et réaliste.
3. Robustesse aux hétérogénéités : La méthode fonctionne bien sur des ensembles de vérificateurs très variés (modèles de récompense, juges LLM binaires) et sur des tâches de difficulté extrême.
4. Validité théorique et pratique : Le papier fournit des garanties théoriques pour l'estimation des moments et démontre empiriquement que l'approche fonctionne sur des benchmarks académiques et des frontières de recherche.

4. Résultats Expérimentaux

Les auteurs ont évalué FUSE sur plusieurs benchmarks et configurations :

• Benchmarks standards (Saad-Falcon et al., 2025b) :

  • Sur des tâches comme GPQA Diamond, MATH500, et MMLU-Pro, avec des générateurs de 8B et 70B paramètres.
  • Résultat : FUSE égale ou dépasse systématiquement les méthodes semi-supervisées (WEAVER, Régression Logistique) et bat largement les baselines non supervisées (Vote majoritaire, Ensemble naïf).
  • Exemple : Sur GPQA Diamond (70B), FUSE atteint 64,4% contre 64,1% pour WEAVER (semi-supervisé) et 57,6% pour l'ensemble naïf.

• Benchmarks de pointe (Frontier) :

  • Humanity's Last Exam (HLE) : Un ensemble de questions extrêmement difficiles non saturées par les modèles actuels.
  • Résultat : FUSE obtient 54,3% de précision, surpassant le meilleur vérificateur oracle (53,5%) et les autres méthodes non supervisées (qui sont parfois pires que le choix aléatoire).

• Benchmarks spécialisés (IMO Shortlist) :

  • Questions de mathématiques de haut niveau.
  • Résultat : Dans ce cas où les vérificateurs sont très similaires et quasi-indépendants, FUSE égale l'assemblage naïf (qui agit comme un oracle ici), démontrant qu'il ne dégrade pas les performances même dans des cas idéaux.

• Robustesse aux distributions mixtes :

  • Dans des scénarios "mixtes" (plusieurs types de tâches), FUSE maintient sa supériorité, tandis que les méthodes semi-supervisées souffrent d'un décalage de distribution (distribution shift) lorsque les données d'entraînement étiquetées ne sont pas représentatives.

5. Signification et Impact

• Réduction de la dépendance aux étiquettes : FUSE démontre qu'il est possible de réaliser un scaling efficace de la vérification sans le goulot d'étranglement du coût humain pour l'annotation. Cela ouvre la voie à l'utilisation de vérificateurs dans des domaines où la vérité terrain est inaccessible ou trop chère.
• Amélioration du Test-Time Scaling : En permettant une sélection de réponse plus fiable via l'assemblage de multiples juges imparfaits, FUSE améliore directement les capacités de raisonnement des LLM à l'inférence.
• Applications futures :
  • Classement de modèles non supervisé : Évaluer et classer des modèles sans données de référence.
  • Audit des benchmarks : Détecter les erreurs d'étiquetage dans les datasets existants en identifiant les incohérences entre les juges.
  • Filtrage de données : Sélectionner des données synthétiques de haute qualité pour l'entraînement ou le RL (Reinforcement Learning) sans supervision.

En conclusion, FUSE représente une avancée méthodologique majeure en adaptant la théorie de l'apprentissage d'ensemble non supervisé aux spécificités des LLM, offrant une solution robuste et efficace pour la vérification de modèles à grande échelle.