Résumé technique : Le témoignage partiel des journaux : Évaluation de la génération par les modèles de langage sous choix de modèle confondant

Énoncé du problème

L'évaluation hors ligne des modèles de langage (LLM) repose de plus en plus sur des journaux d'utilisation, des données de préférence et des annotations de juges collectés lors de déploiements réels. Cependant, lorsque le choix du modèle est piloté par l'utilisateur, ces journaux souffrent de confondance : les mêmes facteurs non observés du côté de l'utilisateur ($U$) qui influencent le modèle qu'un utilisateur sélectionne influencent également la manière dont la sortie de ce modèle est jugée. Par conséquent, les comparaisons brutes des scores enregistrés mélangent des sous-populations auto-sélectionnées plutôt que d'estimer une quantité causale commune d'intérêt.

Bien que les expériences randomisées (EXP) puissent briser ce biais en surchargeant le choix du modèle, elles sont souvent rares, coûteuses et perturbatrices dans la pratique. La littérature existante sur la combinaison d'échantillons observationnels biaisés de grande taille avec de petits échantillons randomisés suppose généralement que le résultat au niveau de l'unité est observé dans les deux cas. Dans l'évaluation des LLM, le « résultat » (le texte généré) doit d'abord être régénéré pour les modèles candidats avant de pouvoir être noté, ajoutant une couche de complexité où le résultat cible n'est pas directement observé même dans l'échantillon randomisé.

Méthodologie : Une conception à trois sources

L'article propose une conception à trois sources pour relever ce défi, séparant le problème en identification (récupération des valeurs causales) et estimation (réduction de l'erreur).

Sources de données

1. Journal observationnel (OBS) : Un grand ensemble de données de choix de modèles auto-sélectionnés, de contextes, de sorties et de résultats. Il fournit une échelle et une supervision auxiliaire mais est confondant.
2. Expérience randomisée (EXP) : Un petit ensemble de données où le choix du modèle est randomisé, fournissant des étiquettes de résultats non confondants pour les sorties réalisées.
3. Simulateur hors ligne (SIM) : Un mécanisme qui rejoue les modèles candidats sur des contextes mis en cache pour générer des sorties contrefactuelles (médiateurs) pour n'importe quel modèle, indépendamment du choix initial.

Structure causale et hypothèses

Le cadre modélise le système à l'aide d'un graphe causal avec un contexte observé ($X$), un état utilisateur latent ($U$), un modèle choisi ($A$), une sortie générée ($M$) et un résultat ($Y$). Les hypothèses clés incluent :

• A1 (Randomisation) : Dans EXP, $A \perp U | X$.
• A2 (Validité du SIM) : Le simulateur correspond avec précision à la distribution interventionnelle du médiateur $P(M | X, do(A=a))$.
• A3 (Cohérence du résultat) : La loi conditionnelle du résultat $P(Y | X, M, U)$ est invariante entre OBS, EXP et le monde interventionnel.
• A4 (Absence de confondance du médiateur latent) : Conditionnellement à $(X, A)$, $U \perp M$. Cela restreint le cadre à une génération en un seul tour, sans état.
• A5 (Alignement du contexte) : La distribution cible des contextes correspond à la distribution des contextes dans EXP.

Théorème d'identification

Le résultat théorique central de l'article (Théorème 1) établit que SIM et EXP sont conjointement suffisants pour identifier les valeurs causales des modèles, rendant OBS inutile pour l'identification.

• L'expérience randomisée identifie la règle de notation sans biais $r^*(x, m) = E[Y | X=x, M=m, EXP]$.
• Le simulateur fournit la distribution interventionnelle du médiateur $p_{sim}(m | x, a)$.
• La valeur causale est récupérée en intégrant la règle de notation sur la distribution simulée du médiateur :
  $$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$$
  $$\mu(a) = E_{X}[q(X, a)]$$
  Le journal observationnel (OBS) n'intervient qu'après l'identification pour améliorer l'efficacité statistique (réduire la variance), et non pour valider la comparaison causale.

Familles d'estimateurs

Une fois la cible identifiée, l'article évalue six familles d'estimateurs qui diffèrent par la manière dont elles utilisent OBS pour réduire l'erreur d'estimation :

1. EXP-Only : Ajuste un modèle de récompense en utilisant uniquement les résultats randomisés. Sans biais mais à variance élevée lorsque EXP est petit.
2. OBS-Only : Ajuste un modèle de récompense sur les résultats enregistrés. Faible variance mais hérite du biais de confondance.
3. Representation-EXP : Utilise les étiquettes auxiliaires de OBS pour apprendre une représentation proxy de plus basse dimension $\psi$, puis ajuste la tête de récompense sur $\psi$ en utilisant les données EXP.
4. Grounded : Commence par un prédicteur de base entraîné sur OBS $f_{OBS}$ et utilise EXP pour apprendre un terme de correction dans l'espace proxy.
5. CVCI (Inférence causale par validation croisée) : Regroupe directement les problèmes de régression OBS et EXP, en sélectionnant le poids de regroupement $\lambda$ par validation croisée causale sur EXP.
6. CVCI-Residual : Résidualise la cible autour de la base OBS ($Y - f_{OBS}$) et regroupe l'ajustement résiduel dans l'espace proxy.

Résultats empiriques

Les auteurs évaluent ces estimateurs dans une validation semi-synthétique contrôlée et deux benchmarks réels mis en cache (résumé sur CNN/DailyMail et codage sur SWE-bench Verified).

• Aucune domination universelle : Aucune famille d'estimateur ne domine tous les régimes. La performance dépend fortement de la quantité de supervision EXP sans biais et de l'alignement entre la structure observationnelle et la récompense cible.
• Benchmark de résumé :
  • CVCI a obtenu le meilleur rang moyen et le regret excédentaire le plus faible sur 48 configurations.
  • L'augmentation du budget EXP ($n_{EXP}$) a considérablement amélioré les estimateurs basés sur EXP, tandis que l'augmentation du budget OBS ($n_{OBS}$) a montré des rendements décroissants sous des cartes de récompense lisses.
  • Lorsque la carte de récompense était « aiguisée » (non linéaire), l'alignement entre les représentations proxy et la cible se dégradait, entraînant une baisse de performance pour les méthodes basées sur la représentation.
• Benchmark de codage :
  • Les classements ont changé en fonction de la définition de la récompense. Lorsque la récompense privilégiait la « qualité du correctif » (fonctionnalités auxiliaires), Representation-EXP s'est montré compétitif.
  • Lorsque la récompense privilégiait le « vrai succès de la correction » (un résultat binaire mal capturé par les statistiques auxiliaires du correctif), les familles basées sur OBS (OBS-Only, CVCI) ont dépassé Representation-EXP.
  • Cela met en évidence que l'utilité des proxies dérivés de OBS dépend de leur capacité à conserver le signal pertinent pour la récompense cible spécifique.

Importance et revendications

L'article prétend fournir un cadre rigoureux pour l'évaluation hors ligne des LLM qui reconnaît les limites des données observationnelles sans rejeter leur échelle.

• Identification vs Estimation : La contribution principale est la séparation théorique de l'identification (résolue par SIM+EXP) de l'estimation (où OBS aide). Cela clarifie que OBS ne peut pas corriger le biais causal ; il ne peut que réduire la variance une fois le biais éliminé par la randomisation et la simulation.
• Conseils pratiques : Les résultats empiriques suggèrent que le choix de l'estimateur doit être guidé par le diagnostic d'« alignement cible ». Si la structure des données observationnelles (par exemple, les étiquettes auxiliaires) s'aligne bien avec la récompense cible, les méthodes hybrides (comme CVCI ou Grounded) sont efficaces. Si la cible repose sur des signaux absents des proxies observationnels (par exemple, le vrai succès de la correction par rapport à la qualité du correctif), les méthodes assistées par OBS peuvent échouer à surpasser les bases purement randomisées.
• Portée : Les auteurs notent modestement que ces conclusions s'appliquent aux paramètres d'évaluation mis en cache en un seul tir. Le cadre suppose une génération en un seul tour (Hypothèse A4) et n'aborde pas encore les paramètres interactifs multi-tours ou les incertitudes plus larges au niveau de la population au-delà des cibles mises en cache.

En résumé, l'article soutient que bien que les grands journaux soient précieux pour l'échelle, ils sont insuffisants pour une évaluation causale à eux seuls. Une petite expérience randomisée combinée à un simulateur est l'exigence minimale pour une identification valide, les données observationnelles servant d'outil de réduction de la variance conditionnel à l'alignement spécifique entre les données et l'objectif d'évaluation.