From Stochasticity to Signal: A Bayesian Latent State Model for Reliable Measurement with LLMs

1. Problématique

L'utilisation croissante des Grands Modèles de Langage (LLM) pour automatiser des tâches de classification (comme l'analyse de la satisfaction client) se heurte à un défi fondamental : la nature stochastique des LLM.

• Le problème de la mesure : Lorsqu'un LLM est utilisé pour déterminer un état déterministe (ex: "Le client est-il satisfait ?"), sa variabilité intrinsèque (différentes sorties pour le même input) crée une erreur de mesure.
• Limites des approches actuelles : Les pratiques courantes, telles qu'une seule passe de génération ou le vote majoritaire (majority voting) sur plusieurs passes, sont insuffisantes. Elles ne quantifient pas l'incertitude, ne modélisent pas le processus d'erreur sous-jacent et peuvent produire des estimations biaisées des métriques au niveau de la population, entravant ainsi les évaluations causales (ex: impact d'une nouvelle fonctionnalité sur la satisfaction).
• Le besoin : Une méthode formelle capable de transformer ces sorties probabilistes bruyantes en signaux fiables, même en l'absence de vérité terrain (ground truth) pour la majorité des données.

2. Méthodologie : Modèle d'État Latent Bayésien

Les auteurs proposent un cadre statistique formel traitant la vraie classification comme une variable latente et les multiples notations du LLM comme des mesures bruitées de cet état.

A. Modèle de Base (Apprentissage Non Supervisé)

• Hypothèse : Pour chaque appel $c$, il existe un état vrai non observé $D_c \in \{0, 1\}$ (ex: insatisfait). Le LLM fournit $N_c$ notations indépendantes $R_{c,i}$.
• Paramètres estimés :
  1. Le taux de base de l'état latent (ex: taux d'insatisfaction global).
  2. Le Taux de Faux Positifs ($\epsilon_0$) : Probabilité que le LLM dise "insatisfait" alors que c'est faux.
  3. Le Taux de Faux Négatifs ($\epsilon_1$) : Probabilité que le LLM dise "satisfait" alors que c'est faux.
  4. L'effet causal des interventions (si applicable).
• Fonction de vraisemblance : Un modèle de mélange où la probabilité d'observer $k_c$ votes "insatisfait" est une combinaison pondérée des cas où l'état vrai est 0 ou 1, pondérée par les taux d'erreur.
• Identifiabilité : Le théorème 1 prouve que le modèle est strictement identifiable si $N_c \ge 3$ et que la somme des taux d'erreur est inférieure à 1 ($\epsilon_0 + \epsilon_1 < 1$), c'est-à-dire que le LLM est meilleur qu'un tirage au sort.
• Inférence : Approche entièrement bayésienne utilisant MCMC (Stan) avec des priors appropriés (Beta pour les erreurs, Normal pour les coefficients).

B. Extension 1 : Modèle d'Erreur Hétérogène

• Objectif : Gérer la variabilité de la difficulté entre différents appels.
• Mécanisme : Les taux d'erreur ($\epsilon_{0,c}, \epsilon_{1,c}$) ne sont plus constants mais dépendent d'une covariable de difficulté $H_c$ (ex: score de difficulté auto-évalué par le LLM ou longueur du transcript).
• Modélisation : Utilisation de liens logit pour modéliser la relation entre la difficulté et les taux d'erreur, permettant de capturer la corrélation entre les notations d'un même appel difficile.

C. Extension 2 : Modèle Semi-Supervisé (Ancres de Vérité Terrain)

• Scénario : Cas où le LLM est biaisé directionnellement (taux d'erreur > 50% pour certains cas complexes), rendant le modèle non supervisé non identifiable.
• Solution : Intégration d'un petit sous-ensemble de données étiquetées par des humains (vérité terrain).
• Assumptions : Échantillonnage aléatoire (MCAR) et support commun (chaque type de difficulté a une chance d'être échantillonné).
• Fonction de vraisemblance : Combinée. Partie A (données non étiquetées) utilise le mélange marginal ; Partie B (données étiquetées) utilise une vraisemblance conditionnelle exacte. Un poids de "température" est appliqué pour équilibrer l'influence des données étiquetées par rapport au grand volume de données non étiquetées.

3. Contributions Clés

1. Cadre Formel : Introduction d'un modèle d'état latent bayésien spécifiquement conçu pour corriger l'erreur de mesure des LLM, applicable aussi bien en mode non supervisé que semi-supervisé.
2. Preuves Théoriques : Démonstration formelle des conditions d'identifiabilité stricte des paramètres (théorèmes 1, 2 et 3), garantissant que les paramètres peuvent être récupérés de manière unique sous certaines conditions.
3. Gestion de l'Incertitude : Contrairement au vote majoritaire qui donne un point unique, le modèle fournit des distributions a posteriori complètes, permettant de quantifier l'incertitude à la fois sur les états individuels et les métriques globales.
4. Framework de Déploiement : Proposition d'un guide pratique pour choisir le modèle adapté selon la difficulté de la tâche et la disponibilité de la vérité terrain.

4. Résultats Expérimentaux

A. Études de Simulation

• Cas Simple (Erreur < 50%) : Le modèle proposé surpasse largement les méthodes naïves (N=1) et le vote majoritaire. Il récupère avec précision les taux d'erreur et les effets de traitement, tandis que le vote majoritaire surestime les faux négatifs et sous-estime l'effet des interventions.
• Cas Hétérogène : Lorsque la difficulté varie, le modèle étendu (Extension 1) surpasse le modèle homogène, montrant une corrélation plus élevée avec l'état latent vrai.
• Cas Biaisé (Erreur > 50%) : Dans les scénarios où le LLM est systématiquement faux sur certains cas, le modèle non supervisé échoue. Seul le modèle semi-supervisé (avec 10% de vérité terrain) parvient à corriger le biais directionnel et à récupérer les paramètres causaux avec une haute précision, surpassant les approches PPI (Prediction-Powered Inference) pour les inférences au niveau individuel.

B. Étude de Cas Réelle (Google)

• Données : 14 108 transcripts de support client.
• Tâche : Classification binaire "Résolution Vraie" vs "Autre".
• Configuration : 10 passes d'inférence par transcript, avec auto-évaluation de la difficulté.
• Résultats :
  • Le modèle a estimé un taux de résolution latent d'environ 22%.
  • Le modèle Hétérogène a révélé une structure d'erreur nuancée : un taux de faux négatifs élevé (10,4%) spécifiquement pour les cas difficiles, là où le modèle homogène sous-estimait ce risque.
  • Cela permet aux entreprises d'identifier les cas ambigus nécessitant une revue humaine, optimisant ainsi les flux de travail.

5. Signification et Conclusion

Cet article fournit une méthodologie générale pour transformer les sorties probabilistes des LLM en métriques fiables pour des applications scientifiques et commerciales.

• Impact Business : Permet de mesurer avec précision des indicateurs clés (KPI) comme la satisfaction client sans dépendre entièrement de l'annotation humaine coûteuse, tout en identifiant les zones de risque (biais directionnel).
• Rigueur Scientifique : En traitant la stochasticité des LLM comme un problème d'erreur de mesure classique, l'article élève le niveau de rigueur dans l'évaluation des LLM, passant de l'agrégation heuristique à l'inférence statistique formelle.
• Recommandation : Les auteurs conseillent une approche "validation-first" : tester la précision sur un petit échantillon étiqueté. Si l'erreur est < 50%, utiliser le modèle non supervisé avec plusieurs passes ; si l'erreur peut dépasser 50%, utiliser impérativement le modèle semi-supervisé avec des ancres humaines.

En résumé, ce travail offre les outils statistiques nécessaires pour passer de la "stochasticité" (bruit) des LLM à un "signal" exploitable et fiable.