Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation
Cet article identifie l'« interférence de rubrique » comme un problème de cohérence dans l'évaluation des LLM multi-rubriques et propose le Self-Anchored Rubric Alignment (SARA), une méthode d'auto-distillation on-policy qui utilise des jugements à rubrique unique comme ancres stables pour améliorer significativement la cohérence de l'évaluation à travers les jeux de données et les familles de modèles sans supervision externe.
Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le paysage moderne de l'intelligence artificielle, les grands modèles de langage ont évolué, passant de simples générateurs de texte à des évaluateurs sophistiqués. Ils sont de plus en plus chargés de noter le travail d'autres machines, agissant comme des juges automatisés pour tout, des conseils médicaux au raisonnement scientifique. Pour rendre ces jugements équitables et détaillés, les chercheurs se sont éloignés de l'attribution d'une note globale unique. Au lieu de cela, ils utilisent des listes de contrôle, appelées rubriques, qui décomposent une réponse en éléments spécifiques et vérifiables comme la sécurité, l'exactitude ou l'exhaustivité. L'objectif est que le modèle vérifie chaque élément de la liste indépendamment, garantissant qu'une réponse soit sûre même si elle n'est pas parfaitement exacte, ou exacte même si elle n'est pas parfaitement sûre. Cette approche promet un niveau de clarté diagnostique qu'un chiffre unique ne peut fournir, permettant aux développeurs de voir exactement où un système réussit ou échoue.
Cependant, une nouvelle étude révèle une faille subtile mais significative dans le fonctionnement de ces juges automatisés lorsqu'ils sont confrontés à plusieurs éléments de liste simultanément. Si les modèles sont excellents pour évaluer un seul élément de manière isolée, leur jugement change lorsqu'on leur demande d'en évaluer plusieurs simultanément en un seul passage. Les chercheurs ont découvert que la présence d'autres éléments sur la liste de contrôle interfère avec l'évaluation de n'importe quel élément pris individuellement. Un verdict sur la sécurité peut changer simplement parce qu'une question sur l'exactitude a été ajoutée à la liste, ou parce que l'ordre des questions a été réorganisé. Ce phénomène, que les auteurs appellent l'interférence de rubrique, signifie que la même réponse pourrait recevoir des notes différentes selon le contexte des autres questions posées, compromettant ainsi la fiabilité du système d'évaluation automatisé.
Pour remédier à cela, une équipe de chercheurs de l'Université de Pékin et de Tencent a développé une méthode pour entraîner les modèles à ignorer ces distractions. Ils ont constaté que, bien qu'un modèle ait du mal à juger plusieurs éléments ensemble, il reste remarquablement stable et cohérent lorsqu'il juge chaque élément seul. Ils ont utilisé cette stabilité comme guide. Les chercheurs ont créé un processus d'entraînement où le modèle génère une évaluation complète de tous les éléments à la fois, mais compare ensuite son raisonnement pour chaque élément à une version « enseignante » de lui-même qui avait évalué ce même élément de manière isolée. En alignant le raisonnement conjoint du modèle sur ses propres jugements isolés et stables, ils lui ont appris à se concentrer sur les critères spécifiques de chaque élément sans être influencé par la présence des autres. Cette technique, qu'ils appellent l'alignement de rubrique auto-ancré, permet au modèle de produire un rapport unifié qui est aussi cohérent que s'il avait coché chaque case séparément.
Les résultats de cette approche ont été testés sur trois ensembles de données différents couvrant des conversations médicales, le respect d'instructions générales et des questions scientifiques, en utilisant plusieurs familles de modèles différentes. Les conclusions ont montré une amélioration marquée de la cohérence. Par exemple, sur un ensemble de données impliquant des questions scientifiques, le pourcentage d'échantillons pour lesquels le modèle a donné exactement le même verdict, qu'il vérifie les éléments ensemble ou séparément, a presque triplé après l'entraînement. Les modèles sont devenus beaucoup moins sensibles au nombre d'éléments sur la liste de contrôle ; là où les modèles non entraînés changeaient d'avis à mesure que la liste s'allongeait, les modèles entraînés maintenaient une norme constante. Ils sont également devenus plus robustes face à l'ordre des questions, ne changeant plus leurs verdicts simplement parce que la liste de contrôle avait été mélangée.
Crucialement, les chercheurs ont confirmé que cette augmentation de la cohérence ne s'est pas faite au détriment de l'exactitude. Les modèles entraînés n'ont pas seulement été devenus robotiques dans leur accord ; ils sont restés aussi performants que les modèles originaux pour déterminer si une réponse était réellement utile ou correcte. En fait, en éliminant la confusion causée par l'interférence, les modèles ont parfois même mieux performé par rapport aux normes externes. L'étude a également démontré que la compétence apprise était générale. Un modèle entraîné sur un type de jeu de données pouvait appliquer cette nouvelle capacité à un jeu de données complètement différent sans aucun entraînement supplémentaire, suggérant qu'il avait appris une façon fondamentale de séparer son raisonnement plutôt que de simplement mémoriser des réponses spécifiques.
Le mécanisme derrière cette amélioration a été retracé à travers les motifs d'attention interne du modèle. Lorsque le modèle non entraîné évaluait plusieurs éléments, sa concentration fuyait d'un élément à l'autre, provoquant l'influence du raisonnement d'un point différent sur l'analyse d'un autre point. Après l'entraînement, cette fuite a été considérablement réduite. Le modèle a appris à diriger son attention presque exclusivement vers l'élément spécifique qu'il analyse actuellement, bloquant efficacement le bruit des autres éléments de la liste. Ce changement a permis au modèle de maintenir une ligne de raisonnement claire et indépendante pour chaque critère, même en les traitant tous ensemble.
Les implications de ce travail s'étendent à la manière dont les systèmes d'intelligence artificielle sont évalués et améliorés. Comme ces modèles sont de plus en plus utilisés pour fournir des commentaires pour l'entraînement d'autres systèmes, la fiabilité de ces commentaires est primordiale. Si le juge est incohérent, le signal d'entraînement devient bruyant et peu fiable. En démontrant que l'interférence de rubrique est un problème réel et systématique, et en fournissant une méthode pour le corriger sans avoir besoin d'annotateurs humains pour fournir les bonnes réponses, l'étude offre une voie pratique pour l'avenir. Elle suggère que l'évaluation automatisée peut être rendue plus robuste et digne de confiance, garantissant que la boucle de rétroaction qui conduit la prochaine génération d'intelligence artificielle est construite sur un fondement de jugement stable et cohérent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.