Résumé technique : « Les LLM peuvent-ils classer ? Un conte de triades et de triage »

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés comme « juges » pour des tâches d'allocation de ressources à enjeux élevés, telles que la priorisation des ménages pour un logement d'urgence ou le triage des patients dans les services d'urgence. Bien que les LLM fassent preuve d'un raisonnement sophistiqué, leurs résultats sont sensibles à l'ordre de présentation et au cadrage des requêtes (prompts), ce qui les rend fragiles pour classer simultanément de grands groupes. Une stratégie d'atténuation courante, fondée sur la théorie du choix social, consiste à solliciter des comparaisons par paires et à les agréger en un ordre total.

Cependant, une lacune critique subsiste : les praticiens manquent d'une méthode fiable pour évaluer si les jugements par paires d'un LLM sont suffisamment cohérents pour que l'on puisse faire confiance au classement résultant avant son déploiement. La littérature existante traite souvent les mesures de cohérence et la précision du classement comme des préoccupations distinctes, sans explorer la relation entre la cohérence intra-exécution (la cohérence logique interne d'un ensemble unique de jugements) et la variance inter-exécution (la stabilité du résultat du classement sur plusieurs exécutions). Ce document étudie si ces deux axes de fiabilité sont indépendants et comment ils se comportent dans des applications de LLM synthétiques et réelles.

Méthodologie

Cadre théorique

Les auteurs proposent une taxonomie de la fiabilité du classement en $2 \times 2$ définie par deux axes indépendants :

1. Cohérence Intra-Exécution (CI) : Mesurée par le Coefficient de Cohérence ($\zeta$). Développé à l'origine par Kendall et Smith, $\zeta$ quantifie la fiabilité du juge en comptant les triades circulaires (triples $\{a, b, c\}$ où $a \succ b \succ c \succ a$) dans un graphe de tournoi. Une valeur de $\zeta = 1$ indique une transitivité parfaite, tandis qu'une valeur de $\zeta = 0$ indique une cyclicité maximale. Le document dérive le comportement asymptotique de $\zeta$ à mesure que le nombre de candidats $n$ augmente, montrant qu'il dépend du taux d'incohérence $r$ et d'un facteur d'échelle.
2. Variance Inter-Exécution (VIE) : Mesurée par la distance de Kendall $\tau$ entre les classements générés par des exécutions indépendantes du même pipeline. Cela capture la stabilité du classement final.

Les auteurs caractérisent théoriquement la relation entre $n$, $\zeta$ et $\tau$ sous le modèle Bradley-Terry-Luce (BTL), un modèle génératif standard pour les comparaisons par paires avec une vérité de terrain connue.

Conception expérimentale

L'étude évalue ces métriques à travers deux domaines :

• Allocation de logements pour les sans-abri : Utilisation des dossiers d'entrée coordonnée de St. Louis (VI-SPDAT, VIF-SPDAT, TAY-VISPDAT) pour les adultes seuls, les familles et les jeunes en transition.
• Triage aux urgences : Utilisation des données MIMIC-IV avec des étiquettes d'indice de gravité (ESI).

Modèles : Trois LLM de pointe ont été testés localement : Meta-Llama-3-8B-Instruct, DeepSeek-R1-Distill-Llama-8B, et Qwen2.5-7B-Instruct.

Procédure :

1. Évaluation de sous-tournois : Pour chaque ensemble de données, un sous-tournoi complet de $m=30$ éléments a été généré ($435$ comparaisons par paire par modèle). $\zeta$ a été calculé exactement, et l'auto-cohérence ($\tau_{cons}$) a été mesurée via un sous-échantillonnage bootstrap.
2. Pipeline creux complet : Le pipeline a été exécuté sur des ensembles plus larges ($n$ jusqu'à 698) avec une probabilité d'échantillonnage des arêtes $p=0,4$ pour simuler les contraintes du monde réel. Les auteurs ont mesuré comment $\hat{\zeta}$ (estimé à partir de données creuses) et $\tau_{cons}$ évoluaient avec $n$.

Contributions clés

1. Caractérisation théorique de $\zeta$ : Le document prouve que sous le modèle BTL avec une discriminabilité fixe, le taux d'incohérence $r$ diminue selon $\Theta(1/n^2)$, provoquant la convergence de $\zeta$ vers 1 à mesure que $n$ augmente. Cela établit une base théorique où la cohérence s'améliore avec l'échelle.
2. Découplage des axes de cohérence : À travers des expériences synthétiques, les auteurs démontrent que $\zeta$ et $\tau_{cons}$ sont corrélés mais non redondants. Plus précisément, $\zeta$ mesure la qualité du signal de comparaison (intransitivité), tandis que $\tau_{cons}$ dépend à la fois de la qualité du signal et de la quantité de comparaisons disponibles par élément.
3. Divergence empirique dans les données réelles : Contrairement au modèle BTL, les données réelles de LLM présentent un taux d'incohérence constant ($r$) à mesure que $n$ augmente. Par conséquent, $\zeta$ se stabilise près d'un plancher asymptotique plutôt que de s'améliorer, tandis que $\tau_{cons}$ continue d'augmenter avec $n$ en raison de l'accumulation de points de données.
4. Profils de performance spécifiques aux modèles : L'étude révèle qu'aucun LLM ne domine les deux axes.
   • LLaMA : Atteint systématiquement la plus haute cohérence intra-exécution ($\zeta$) mais présente une plus faible stabilité inter-exécution.
   • Qwen : Atteint la plus haute stabilité inter-exécution ($\tau_{cons}$) mais possède la plus faible cohérence intra-exécution.
   • DeepSeek : Occupe généralement un terrain intermédiaire sur les deux dimensions.

Résultats

• Comportement synthétique vs réel : Dans les données synthétiques BTL, $\zeta$ augmente avec $n$. Dans les données réelles générées par LLM, $\zeta$ reste approximativement constant pour différentes valeurs de $n$, indiquant que le taux d'incohérence $r$ ne diminue pas avec l'échelle comme prédit par les modèles idéalisés.
• Utilité diagnostique : L'estimateur creux $\hat{\zeta}$ est montré comme étant non biaisé à travers différentes probabilités d'observation ($p$), permettant aux praticiens d'estimer la qualité de la comparaison même avec des données incomplètes.
• Compromis : Le document souligne un compromis critique : un modèle avec un $\zeta$ élevé (LLaMA) peut produire des classements qui sont logiquement cohérents en interne mais instables entre les exécutions, tandis qu'un modèle avec un $\tau_{cons}$ élevé (Qwen) peut produire des classements stables mais intrinsèquement intransitifs.

Signification et affirmations

Le document affirme que s'appuyer sur une seule métrique (soit $\zeta$, soit $\tau_{cons}$) est insuffisant et potentiellement trompeur pour évaluer la fiabilité des LLM dans des tâches de classement à enjeux élevés.

• Axes indépendants : Les auteurs affirment que la cohérence intra-exécution et la variance inter-exécution sont des axes de fiabilité véritablement indépendants. Un système peut être cohérent en interne mais instable (faible IV, haute CI), ou stable mais intransitif en interne (haute IV, faible CI).
• Protocole de diagnostic pratique : Le document propose un diagnostic en deux étapes pour les praticiens :
  1. Exécuter un petit sous-tournoi complet pour calculer $\zeta$. Si $\zeta$ est bas, le processus de comparaison est fondamentalement intransitif, et aucune quantité de données supplémentaires ne corrigera le classement.
  2. Si $\zeta$ est élevé mais que $\tau_{cons}$ est bas, le problème est une quantité de données insuffisante, et non la qualité du signal ; le remède est d'augmenter la fraction d'échantillonnage plutôt que de changer le modèle.
• Sélection de modèle : Les résultats suggèrent que la sélection de modèle doit être spécifique au domaine. Si une partie prenante privilégie la cohérence logique des jugements individuels, LLaMA peut être préféré. Si elle privilégie la stabilité de la sortie finale entre les exécutions, Qwen peut être préférable.

Le document conclut que la taxonomie proposée fournit un cadre nécessaire pour aller au-delà des simples mesures de précision vers une compréhension plus nuancée de la fiabilité de l'IA dans la prise de décision conséquente.