Résumé Technique : SPLIT – Empathie Translingue et Ancrage Culturel dans les Réponses des LLM en Anglais et en Ukrainien

Énoncé du Problème

Le déploiement rapide des Grands Modèles de Langage (LLM) dans des contextes de soutien émotionnel et de crise a dépassé la recherche sur leurs capacités translingues, particulièrement pour les langues à ressources faibles ou moyennes. Les benchmarks existants, bien qu'accentuant la performance multilingue, échouent fréquemment à examiner l'empathie liée aux crises et l'ancrage culturel. Un fossé critique existe entre la fluidité linguistique et la capacité à fournir un soutien émotionnel culturellement approprié. L'article postule que produire du texte dans une langue spécifique (par exemple, l'ukrainien) ne revient pas à produire un soutien émotionnel ancré culturellement dans cette langue. Cette étude traite de l'incohérence des réponses des LLM lors de la transition des langues à hautes ressources (anglais) vers les langues à ressources faibles ou moyennes (ukrainien) dans des scénarios de crise à enjeux élevés.

Méthodologie

Jeu de Données : Le Benchmark SPLIT

Les auteurs introduisent SPLIT, un benchmark de 500 prompts conçu pour évaluer la cohérence des LLM dans la génération de réponses émotionnellement ancrées. Le jeu de données se compose de 500 requêtes de soutien émotionnel distinctes réparties en cinq catégories liées aux crises :

1. Stress
2. Panique
3. Solitude
4. Déplacement Interne
5. Tension

Les prompts ont été générés à la fois en anglais et en ukrainien. Bien que la traduction automatique ait été la source principale pour les données ukrainiennes, un locuteur natif ukrainien possédant une maîtrise de l'anglais (niveau C2) a rigoureusement vérifié un échantillon aléatoire de 15 % (n=75) pour garantir l'exactitude de la génération de langage naturel (NLG).

Sélection des Modèles

Trois LLM techniquement diversifiés ont été évalués en tant que générateurs de réponses :

1. DeepSeek-V3 : Une architecture de type Mixture-of-Experts (MoE) avec une stratégie sans perte auxiliaire et un entraînement par prédiction de multi-tokens.
2. LLaMA-3.3-70B-Instruct : Un modèle transformer dense standard.
3. Gemini-2.5-Flash : Un modèle transformer sparse MoE à source fermée avec des capacités de raisonnement hybride.

Cadre d'Évaluation

Les réponses ont été évaluées selon trois dimensions sur une échelle de 1 à 5 :

1. Exactitude Empathique : Identification de l'état émotionnel et évitement des clichés.
2. Naturel Linguistique : Préservation du flux naturel, des idiomes et des expressions spécifiques à la crise.
3. Ancrage Contextuel et Culturel : Adaptation au langage de l'utilisateur, à son bagage culturel et au contexte de crise spécifique.

Paradigme d'Évaluation

L'étude a employé une approche d'évaluation double :

• LLM-as-a-Jury (Le LLM comme Jury) : Trois modèles à haut niveau de raisonnement (GPT-4o, Mistral Large et Claude 4.5 Sonnet) ont agi en tant que jury automatisé pour noter les 3 000 réponses générées (3 modèles × 500 prompts × 2 langues).
• Validation Humaine : Un locuteur natif ukrainien avec une maîtrise de l'anglais (C2) a évalué manuellement 10 % des réponses (n=300).
• Analyse Statistique : L'étude a calculé les coefficients de corrélation de Pearson ($r$), l'erreur absolue moyenne (MAE) et l'erreur moyenne (ME) pour mesurer l'alignement entre les évaluations humaines et automatisées.

Résultats Clés

Disparités de Performance (Évaluation Humaine)

Un écart de performance significatif a été observé lors de la transition de l'anglais vers l'ukrainien :

• Gemini-2.5-Flash et LLaMA-3.3-70B-Instruct : Les deux modèles ont montré une dégradation sévère en ukrainien. Le score de Naturel Linguistique de LLaMA a chuté de 1,76 points (passant de 3,92 en anglais à 2,16 en ukrainien). Le score d'Ancrage Culturel de Gemini a chuté de 1,2 point.
• DeepSeek-V3 : Ce modèle est resté comparativement stable, avec des scores en ukrainien égalant ou dépassant légèrement sa base de référence en anglais. Par exemple, son score d'Ancrage Culturel est passé de 3,54 (EN) à 3,74 (UA).

Accord Automatisé vs Humain

La corrélation entre le "LLM-as-a-jury" et les évaluateurs humains était faible et dépendante de la dimension :

• Exactitude Empathique : Corrélation positive faible mais significative ($r = 0,198$). Le jury IA a montré un biais de complaisance (ME = +0,281), surestimant souvent le vocabulaire empathique de base.
• Naturel Linguistique : Corrélation positive faible ($r = 0,149$). Le jury IA a fortement favorisé la correction grammaticale et la structure au détriment des idiomes authentiques, entraînant un large biais de complaisance systématique (ME = +0,506).
• Ancrage Contextuel et Culturel : La corrélation était négative et non significative ($r = -0,095, p > 0,05$). Le jury automatisé n'a pas réussi à reconnaître l'adaptation culturelle authentique, pénalisant parfois des réponses que les humains jugeaient culturellement appropriées mais structurellement divergentes des modèles standards.

Observations Spécifiques

• LLaMA a présenté une "dérive linguistique" et un recours aux clichés en ukrainien, probablement dû à son architecture transformer dense et à ses données d'entraînement majoritairement anglophones.
• Gemini a affiché un "biais de sur-alignement", produisant des scripts excessivement défensifs et orientés vers la sécurité qui manquaient de profondeur émotionnelle en ukrainien.
• La stabilité de DeepSeek a été attribuée à sa stratégie de routage MoE et à son objectif de prédiction de multi-tokens, permettant une meilleure planification au niveau des segments de phrases dans les langues morphologiquement riches.

Principales Contributions

1. Benchmark SPLIT : L'introduction d'un jeu de données spécialisé de 500 prompts focalisé sur la communication liée aux crises en ukrainien, comblant une lacune dans les benchmarks de langues à ressources faibles pour le soutien émotionnel.
2. Preuve Empirique de Divergence : L'étude fournit des preuves fondées sur les données que la compétence multilingue ne signifie pas compétence multiculturelle. Les modèles peuvent générer un texte ukrainien fluide tout en échouant à fournir un soutien émotionnel culturellement ancré.
3. Évaluation du "LLM-as-a-Jury" : L'article évalue de manière critique la fiabilité de l'évaluation automatisée dans les contextes de soutien émotionnel, constatant que si l'IA peut approcher le jugement humain sur des mesures superficielles (grammaire, empathie de base), elle échoue de manière significative dans l'évaluation de l'ancrage culturel.
4. Aperçus Architecturaux : Les résultats suggèrent que les architectures MoE avec un routage spécialisé (comme DeepSeek-V3) peuvent offrir une meilleure stabilité translingue dans les contextes émotionnels par rapport aux transformers denses ou aux modèles dépendant de vastes données web moyennées.

Signification et Revendications

L'article conclut que « Produire du texte ukrainien n'est pas équivalent à produire un soutien émotionnel ukrainien. »

Les auteurs soutiennent que les benchmarks et les méthodes d'évaluation actuels sont insuffisants pour les applications de réponse aux crises car ils privilégient la fluidité linguistique et la cohérence générale au détriment d'un immersion culturelle profonde. L'étude affirme que :

• Les LLM déployés dans des contextes de crise nécessitent une adaptation culturelle plus profonde au-delà de la simple traduction linguistique.
• L'évaluation automatisée (LLM-as-a-jury) est peu fiable pour évaluer l'ancrage culturel, car elle a tendance à récompenser la correction structurelle plutôt que la nuance culturelle authentique.
• Le développement futur doit passer de benchmarks simplement "multilingues" à des benchmarks "multiculturels" qui tiennent compte des normes, des valeurs et des références implicites spécifiques aux langues à ressources moyennes ou faibles.

Ce travail sert de mise en garde pour les développeurs intégrant des LLM dans des systèmes de réponse aux crises, soulignant que la fluidité linguistique seule n'est pas une métrique suffisante pour la sécurité et l'efficacité dans des scénarios translinguistiques chargés émotionnellement.