Résumé Technique : JuICE – Une Référence pour Évaluer les Juges LLM dans l'Identification des Erreurs Culturelles

1. Énoncé du Problème

Alors que les modèles de langage de grande taille (LLM) sont déployés à l'échelle mondiale, ils sont de plus en plus chargés d'activités ancrées culturellement, telles que la rédaction de communications personnelles, le brainstorming d'idées créatives et la narration. Ces tâches exigent plus qu'une simple exactitude factuelle ; elles requièrent une compréhension culturelle « épaisse » — l'adéquation contextuelle, la résonance symbolique et les attentes tacites que les locuteurs natifs utilisent de manière instinctive.

Les références culturelles actuelles traitent souvent la culture comme un ensemble plat de faits, s'appuyant sur la vérification des faits ou la nécessité de normes. De plus, bien que le paradigme « LLM-comme-Juge » soit devenu l'approche évolutive dominante pour l'évaluation, il reste incertain de savoir si ces juges peuvent détecter les erreurs culturelles « épaisses ». De telles erreurs ne sont pas toujours des violations explicites de normes ou des erreurs factuelles, mais se manifestent par une incohérence subtile dans le cadre, la connotation, la spécificité ou l'absence de contexte. Par exemple, une histoire peut être factuellement plausible mais culturellement choquante pour un lecteur local (par exemple, décrire le jasmin comme une odeur agréable en ville en Indonésie, où il est associé aux funérailles). Le problème central abordé par cet article est l'absence d'une référence pour évaluer si les juges LLM peuvent identifier de manière fiable ces erreurs culturelles nuancées et localisées dans la génération de textes longs.

2. Méthodologie

Construction du Jeu de Données : JuICE

Les auteurs présentent JuICE (Référence pour le Juge LLM dans l'Identification des Erreurs Culturelles), un jeu de données multilingue conçu pour capturer des erreurs culturelles et linguistiques fines.

• Portée : Le jeu de données comprend 1 050 paires requête-réponse répartis sur quatre pays (États-Unis, Corée du Sud, Indonésie, Bangladesh) et quatre langues (anglais, coréen, indonésien, bengali).
• Tâches : Il couvre trois types de tâches ouvertes : la génération d'histoires, l'idéation créative et les conseils pratiques.
• Pipeline d'Annotation : Un pipeline collaboratif humain-LLM a été employé, impliquant 44 locuteurs natifs et des LLM de pointe (gemini-3-pro, gpt-5.1).
  1. Étape 1 (Identification) : Deux locuteurs natifs et deux juges LLM ont annoté indépendamment les réponses pour des erreurs culturelles ou linguistiques, en surlignant des segments et en fournissant des explications.
  2. Étape 2 (Validation) : Tous les segments identifiés ont fait l'objet d'une validation croisée. Les segments détectés par des humains ont été validés par d'autres annotateurs, tandis que les segments détectés par des modèles ont été validés par des humains. Un segment d'erreur n'a été inclus dans le jeu de données final que si tous les validateurs humains s'accordaient pour dire qu'il était erroné.
• Échelle : Le processus a produit 7 470 annotations au niveau des segments répartis sur 33 621 phrases.

Taxonomie des Erreurs

S'appuyant sur le cadre d'« évaluation épaisse » (Qadri et al., 2025), les auteurs opérationnalisent une taxonomie distinguant les erreurs « fines » (de surface) et les erreurs « épaisses » (interprétatives) :

• Erreurs Fines : Erreurs Linguistiques Explicites (erreurs mécaniques) et Inexactitude Culturelle (erreurs factuelles vérifiables).
• Erreurs Épaisses :
  • Erreurs Linguistiques Implicites : Échecs dans le ton, le registre ou la nuance sociolinguistique.
  • Incohérence Culturelle : Clashes contextuels d'éléments culturels.
  • Erreur de Spécificité Culturelle : Représentation erronée des limites des concepts culturels (généralisation excessive/insuffisante).
  • Erreur de Connotation Culturelle : Mauvaise gestion du poids symbolique ou de la résonance émotionnelle.
  • Absence Culturelle : Absence de contexte culturel critique requis pour l'exhaustivité.

Tâches d'Évaluation

En utilisant JuICE, les auteurs ont évalué divers LLM propriétaires et open-source de pointe agissant en tant que juges sur deux tâches :

1. Détection de Segments Erronés : Le juge identifie des segments de texte spécifiques contenant des erreurs. La performance est mesurée à l'aide de l'Intersection sur Union (IoU) avec un seuil de $t=0,15$, calibré par rapport à un oracle sémantique.
2. Classification de Phrases Erronées : Une tâche de classification binaire déterminant si une phrase spécifique contient des erreurs, étant donné le contexte complet.

3. Résultats Clés

Performance des Juges LLM

• Difficulté Globale : Même le juge LLM le plus puissant (gemini-3.1-pro-preview) n'a obtenu qu'un score F1 de 0,52 sur la tâche de détection de segments.
• Limites du Rappel : Pour tous les modèles évalués, le rappel pour les erreurs détectées par des humains était d'au maximum 0,50, indiquant que les modèles manquent au moins la moitié des erreurs identifiées par des locuteurs natifs.
• Disparité Entre Fines et Épaisses : Un écart de performance significatif existe entre les erreurs fines et épaisses.
  • Les modèles performent relativement mieux sur les Erreurs Linguistiques Explicites et l'Inexactitude Culturelle (catégories fines), avec des rappels allant de 0,37 à 0,72.
  • La performance chute brutalement pour les erreurs culturelles épaisses. Le rappel pour l'Absence Culturelle est tombé aussi bas que 0,21–0,35, et les erreurs de Connotation Culturelle étaient tout aussi difficiles (0,28–0,60).
• Comparaison avec les Méthodes Antérieures : Les approches traditionnelles comme la nécessité de normes (CultureBank) et la vérification d'affirmations (CaLMQA) ont échoué à capturer ces erreurs. Par exemple, la nécessité de normes a accepté des réponses qui étaient factuellement cohérentes avec des normes générales mais culturellement incohérentes dans des contextes spécifiques (par exemple, des associations d'ingrédients spécifiques dans les desserts coréens).

Impact des Consignes

Les auteurs ont testé si fournir des consignes explicites (définitions de la taxonomie des erreurs épaisses et exemples few-shot) améliorait la performance en utilisant gemma-4-31B-it.

• Résultats : La combinaison de la taxonomie et des exemples few-shot a amélioré le score F1 de manière marginale (de 0,4457 à 0,4591).
• Gains de Rappel : Cette consigne a conduit à une augmentation statistiquement significative du rappel pour les erreurs épaisses (augmentation de 7,6 points de pourcentage) par rapport aux erreurs fines (augmentation de 3,9 points de pourcentage), suggérant que des cadres explicites aident les modèles à reconnaître des nuances culturelles plus profondes, bien qu'ils ne comblent pas entièrement l'écart de performance.

4. Contributions

1. Nouvelle Tâche d'Évaluation : L'article propose d'évaluer la compétence culturelle des LLM à travers leurs capacités de jugement, spécifiquement leur capacité à détecter et localiser les erreurs culturelles dans les textes générés.
2. Jeu de Données JuICE : La publication d'un jeu de données multilingue et multiculturel avec 7 500 annotations au niveau des segments validées par des locuteurs natifs en coréen, indonésien, bengali et anglais.
3. Résultats Empiriques : La démonstration que les juges LLM actuels manquent systématiquement les erreurs culturelles épaisses, obtenant de faibles scores F1 (0,52) et un rappel (≤0,50) sur les erreurs validées par des humains, en particulier pour la connotation, la spécificité et l'absence.

5. Signification et Limites

Signification :
Les résultats suggèrent qu'une évaluation culturelle robuste doit aller au-delà de la détection de surface et de la vérification factuelle. L'article plaide pour des cadres qui prennent en compte la « profondeur et la situation du sens culturel ». Il met en évidence un écart critique où les LLM peuvent générer des textes factuellement plausibles qui restent culturellement « faux » pour les locuteurs natifs, un échec que les juges automatisés actuels peinent à détecter.

Limites :

• Subjectivité : Les jugements culturels sont intrinsèquement pluriels et subjectifs ; le jeu de données représente un ensemble conservateur d'erreurs validées par consensus et peut ne pas capturer chaque erreur subtile ou débattable.
• Démographie : Les annotateurs ont été recrutés principalement auprès de populations affiliées à des universités, sur-représentant potentiellement les capacités de détection d'erreurs de locuteurs plus jeunes et hautement éduqués.
• Comparabilité Interculturelle : Les distributions d'erreurs varient considérablement selon le pays et la langue, ce qui signifie que les scores ne doivent pas être interprétés comme des mesures directes de la compréhension d'une culture par un modèle par rapport à une autre.
• Dépendance au Pipeline : Certaines étapes de post-traitement (par exemple, l'attribution de catégories) reposaient sur l'assistance des LLM, ce qui signifie que les étiquettes sont des approximations structurées du jugement humain plutôt qu'une seule vérité terrain autoritaire.

Les auteurs concluent que les travaux futurs devraient se concentrer sur le développement de modèles juges et de protocoles d'évaluation qui ciblent explicitement les erreurs épaisses, potentiellement en incorporant des grilles d'évaluation ancrées culturellement ou en récupérant des sources de connaissances locales.