MultiwayPAM: Multiway Partitioning Around Medoids for LLM-as-a-Judge Score Analysis

Ce papier propose MultiwayPAM, une nouvelle méthode de clustering tensoriel appliquée aux scores d'évaluation « LLM-as-a-Judge » pour surmonter les défis du coût computationnel et des biais inhérents en identifiant simultanément les membres et les médoides de chaque mode (questions, répondants, évaluateurs).

L'essentiel

Voici une explication simple et imagée de l'article scientifique "MultiwayPAM", conçue pour être comprise par tous, sans jargon technique.

Imaginez que vous êtes le directeur d'un grand restaurant gastronomique. Vous avez trois équipes principales :

1. Les clients (qui posent des questions).
2. Les chefs (qui préparent les réponses).
3. Les critiques gastronomiques (qui notent les plats).

Dans le monde de l'Intelligence Artificielle (IA), on utilise souvent une IA pour jouer le rôle de critique (c'est ce qu'on appelle "LLM-as-a-Judge"). Le problème, c'est que si vous avez 50 clients, 50 chefs et 50 critiques, vous devez faire goûter 125 000 plats différents (50 x 50 x 50) pour avoir une idée de la qualité de tout le menu. C'est long, coûteux en énergie et fastidieux. De plus, les critiques ne sont pas objectifs : certains adorent les plats épicés, d'autres détestent les cuisiniers qui ont le même accent qu'eux.

Le problème : Le chaos des notes

L'article pose deux problèmes majeurs :

1. Le coût : On ne peut pas tout noter manuellement (ou par IA) à chaque fois.
2. Le biais : Les notes sont influencées par qui pose la question, qui répond et qui note. Parfois, un critique donne une mauvaise note non pas parce que le plat est mauvais, mais parce qu'il n'aime pas le style du chef.

La solution : MultiwayPAM (Le "Tri Magique")

Les auteurs proposent une nouvelle méthode appelée MultiwayPAM. Pour faire simple, imaginez que vous avez un énorme cube de Lego coloré, où chaque brique représente une note donnée par un critique à un plat d'un chef pour une question précise.

Au lieu de regarder chaque brique une par une, MultiwayPAM fait deux choses intelligentes :

1. Il regroupe les choses similaires (Le Tri)

Il dit : "Attendez, ces 10 clients posent tous des questions sur la météo. Ces 10 chefs répondent tous de manière très technique. Et ces 10 critiques sont tous des météorologues."
Au lieu de traiter 1000 notes séparément, il les regroupe en 5 gros blocs (des "clusters"). Maintenant, au lieu de gérer 1000 notes, vous n'avez plus que 5 catégories à analyser.

2. Il choisit le "Représentant" (Le Médoid)

C'est ici que la méthode est géniale. Dans chaque groupe, au lieu de prendre une "moyenne" (qui est un chiffre abstrait et qui n'existe pas dans la réalité), elle choisit un vrai exemple qui représente le mieux le groupe.

• Analogie : Si vous avez un groupe de "Chefs qui cuisinent des pâtes", la moyenne serait "un plat de pâtes à 50%". Mais MultiwayPAM choisit un vrai chef (par exemple, "Mario") dont le plat est le plus proche de la moyenne du groupe.
• Pourquoi c'est utile ? Parce que vous pouvez lire le plat de Mario et dire : "Ah, c'est ça, le style de ce groupe !" Vous comprenez pourquoi les notes sont ce qu'elles sont, car vous avez un exemple concret à regarder.

Comment ça marche concrètement ?

L'algorithme fonctionne comme un jeu de "très proche" :

1. Il choisit au hasard quelques "représentants" (les chefs, les clients, les critiques types).
2. Il regarde les notes.
3. Il se dit : "Tiens, si je remplace ce chef par celui-ci, est-ce que le groupe devient plus cohérent ?"
4. Il répète ce processus des milliers de fois, comme un sculpteur qui enlève petit à petit la pierre inutile, jusqu'à ce que les groupes soient parfaitement formés et que les représentants soient les meilleurs possibles.

Ce qu'ils ont découvert (Les résultats)

En appliquant cette méthode à deux jeux de données réels, ils ont vu des choses intéressantes :

• Le biais est réel : Ils ont pu voir que certains critiques donnaient systématiquement de mauvaises notes à certains types de questions, même si les réponses étaient bonnes.
• La structure des biais : Par exemple, ils ont découvert qu'un critique "Nurse" (Infirmière) donnait de mauvaises notes à des questions sur l'armée, alors qu'un critique "Fan de Football" adorait les questions sur le sport.
• Économie d'énergie : En comprenant ces structures, on n'a plus besoin de faire toutes les évaluations. On peut prédire les notes manquantes en se basant sur les "représentants" (les médoids).

En résumé

MultiwayPAM est comme un détective culinaire qui regarde un chaos de 125 000 notes, les regroupe par familles logiques, et vous dit : "Regardez ce chef et ce critique ici, ils représentent tout ce groupe. Si vous comprenez leur relation, vous comprenez tout le restaurant."

C'est une façon intelligente de réduire le travail, d'économiser de l'énergie informatique et de mieux comprendre les préjugés cachés derrière les notes des intelligences artificielles.

Résumé technique

1. Problématique

L'évaluation de texte par des modèles de langage (LLM), connue sous le nom de LLM-as-a-Judge, est devenue un cadre flexible pour mesurer la qualité des textes générés. Cependant, son adoption à grande échelle se heurte à deux défis majeurs :

1. Coût computationnel : Évaluer exhaustivement toutes les combinaisons de questions ($d_1$), de générateurs de réponses ($d_2$) et d'évaluateurs ($d_3$) nécessite un nombre exponentiel d'inférences ($d_1 \times d_2 \times d_3$), ce qui est prohibitif en termes de temps et de ressources.
2. Biais inhérents : Les évaluateurs LLM souffrent de divers biais (ex: biais d'auto-amélioration, préférences pour des styles spécifiques). Comprendre la structure de ces biais est crucial pour une évaluation équitable, mais les méthodes actuelles peinent à révéler comment les interactions entre questions, réponses et évaluateurs influencent les scores.

L'objectif est donc de modéliser la structure des scores sous forme de tenseur (Question $\times$ Répondeur $\times$ Évaluateur) pour identifier des groupes (clusters) similaires et réduire le besoin d'évaluation exhaustive, tout en interprétant ces groupes de manière intelligible.

2. Méthodologie : MultiwayPAM

Les auteurs proposent une nouvelle méthode de clustering tensoriel appelée MultiwayPAM (Multiway Partitioning Around Medoids). Cette méthode étend l'algorithme classique PAM (Partitioning Around Medoids), conçu pour les données vectorielles, au domaine des tenseurs d'ordre supérieur.

Principe Fondamental

Contrairement aux méthodes de clustering basées sur les centroïdes (moyennes), MultiwayPAM cherche simultanément :

• L'appartenance aux clusters pour chaque mode (Question, Répondeur, Évaluateur).
• Les médoides (indices représentatifs réels) pour chaque cluster.

L'utilisation de médoides permet d'interpréter directement la composition de chaque bloc en observant les éléments réels qui les représentent, plutôt que des moyennes abstraites.

Algorithme

La méthode procède en deux phases itératives pour minimiser la dissimilarité entre le tenseur original $Y$ et le tenseur reconstruit basé sur les médoides $\hat{Y}$ :

1. Initialisation (Algorithme BUILD) :

   • Pour chaque mode, les médoides sont sélectionnés de manière gloutonne.
   • Le premier médooïde est celui qui minimise la somme des dissimilarités avec tous les autres slices (tranches) du tenseur.
   • Les médoides suivants sont choisis pour minimiser la distance aux slices déjà couverts par les médoides précédents.
   • L'appartenance aux clusters est assignée en fonction du médooïde le plus proche.

2. Optimisation (Algorithme SWAP) :

   • L'algorithme tente d'améliorer la solution en échangeant systématiquement un médooïde actuel avec un indice non-médooïde.
   • Pour chaque paire d'échange potentiel $(i, j)$, il recalcule l'appartenance aux clusters et la dissimilarité globale.
   • Si l'échange réduit l'erreur (RMSE), il est accepté.
   • Le processus se répète jusqu'à convergence (aucune amélioration possible).

La dissimilarité est définie comme la norme euclidienne au carré ($L_2$) entre le tenseur original et le tenseur approximé.

3. Contributions Clés

• Nouvel Algorithme Tensoriel : Développement de MultiwayPAM, capable de gérer des données multi-dimensionnelles tout en fournissant des représentants réels (médoides) pour chaque cluster.
• Interprétabilité Améliorée : En identifiant des médoides, les chercheurs peuvent examiner les questions, réponses ou évaluateurs spécifiques qui définissent un groupe de comportement, rendant l'analyse des biais beaucoup plus concrète que les méthodes basées sur des moyennes.
• Réduction de Coût Potentielle : En révélant la structure de bloc des scores, la méthode suggère qu'il est possible de prédire certains scores à partir d'autres, réduisant ainsi le besoin d'inférences LLM exhaustives.

4. Résultats Expérimentaux

Les auteurs ont appliqué MultiwayPAM sur deux jeux de données réels : Truthy-DPO-v0.1 et Emerton-DPO-Pairs-Judge.

• Configuration : 50 questions, 50 personas (répondeurs), 50 personas (évaluateurs), formant un tenseur $50 \times 50 \times 50$. Les scores étaient sur une échelle de 1 à 4.
• Paramétrage : 5 clusters pour chaque mode ($c = [5, 5, 5]$).

Observations Principales :

• Analyse des Biais : L'analyse des médoides a révélé des structures de biais claires.
  • Exemple (Truthy) : L'évaluateur médooïde "Une infirmière inquiète des dangers militaires" (E14) a donné des scores systématiquement bas à la question sur la navigation physique (Q6). À l'inverse, un supporter de football (E22) a donné des scores élevés à des questions triviales sur la santé (Q11).
  • Exemple (Emerton) : La variation des scores était principalement pilotée par la nature de la question. Certaines questions (ex: logique complexe) ont généré des scores faibles quelle que soit la combinaison, tandis que d'autres ont généré des scores élevés.
• Performance de Reconstruction :
  • Comparé à un modèle de bloc tensoriel (TBM) utilisant des centroïdes (moyennes), MultiwayPAM a obtenu une erreur quadratique moyenne (RMSE-M) plus faible, indiquant une meilleure approximation des données originales par les médoides.
  • Cependant, le TBM a légèrement mieux performé sur l'erreur de reconstruction basée sur les centroïdes (RMSE-C), ce qui est attendu car les centroïdes minimisent mathématiquement la variance, mais sont moins interprétables.

5. Signification et Perspectives

Signification :
Ce travail démontre que la structure des biais dans les évaluations LLM n'est pas aléatoire mais suit des motifs identifiables liés aux interactions entre les entités (questions, réponses, évaluateurs). MultiwayPAM offre un outil puissant pour :

1. Diagnostiquer les biais de manière granulaire.
2. Réduire les coûts d'évaluation en identifiant des sous-ensembles représentatifs.
3. Améliorer la transparence des systèmes d'évaluation automatisés.

Limites et Travaux Futurs :

• Taille des clusters : La méthode suppose que le nombre de clusters ($c$) est connu à l'avance. Déterminer automatiquement la taille optimale des blocs est un défi futur.
• Similarité Sémantique : Bien que les médoides minimisent l'erreur numérique, ils ne sont pas nécessairement sémantiquement proches des autres éléments de leur cluster. Les auteurs suggèrent de développer des méthodes intégrant à la fois l'approximation des données et la similarité sémantique intra-cluster.

En conclusion, MultiwayPAM représente une avancée significative dans l'analyse des données d'évaluation générées par l'IA, combinant rigueur mathématique et interprétabilité pratique pour mieux comprendre et atténuer les biais des LLM.