Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation

Résumé technique : Vers une détection cohérente des distorsions cognitives

Énoncé du problème
La détection automatisée des distorsions cognitives (DC) — schémas de pensée biaisés associés à des troubles de santé mentale tels que la dépression et l'anxiété — fait face à un défi fondamental : la subjectivité. Les jeux de données existants souffrent souvent d'un faible accord inter-annotateurs (IAA) parmi les experts humains, conduisant à des étiquettes « référence de vérité » bruyantes et peu fiables. Les modèles entraînés sur de telles données incohérentes peinent à généraliser, produisant souvent des métriques de performance faibles (par exemple, des scores F1 pondérés entre 0,2 et 0,4). De plus, comparer des modèles entraînés sur des jeux de données aux caractéristiques différentes (tailles, distributions d'étiquettes ou qualités d'annotation) en utilisant des métriques traditionnelles comme le score F1 est problématique, car les valeurs de performance absolues ne sont pas directement comparables entre des référentiels hétérogènes.

Méthodologie
Les auteurs proposent une approche à double axe : un cadre d'annotation basé sur un grand modèle de langage (LLM) pour générer des étiquettes cohérentes et une métrique d'évaluation agnostique au jeu de données pour comparer équitablement les performances des modèles.

1. Cadre d'annotation basé sur un LLM :

   • Hypothèse : Au lieu de se fier à une seule prédiction d'un LLM, les auteurs émettent l'hypothèse que plusieurs exécutions indépendantes d'un LLM sur le même texte révéleront des schémas d'étiquetage stables. La récurrence cohérente d'une étiquette à travers les exécutions est traitée comme un signal de fiabilité interne, servant de proxy pour la vérité terrain en l'absence de consensus humain.
   • Procédure : L'étude utilise le jeu de données « Therapist Q&A » (2 530 paires utilisateur-réponse) disponible publiquement. Les auteurs emploient les modèles GPT-4 et GPT-4o via API avec deux paramètres de température (0,5 et 0,7) pour contrôler l'aléatoire.
   • Prompting : Deux types de prompts sont utilisés : un prompt multi-étiquettes (MLP) permettant une attribution non contrainte de DC, et un prompt d'étiquettes classées (RLP) contraignant le modèle à sélectionner la DC la plus dominante (plus une secondaire optionnelle).
   • Filtrage de cohérence : Chaque entrée est traitée via cinq exécutions indépendantes par configuration. Les étiquettes apparaissant dans au moins 4 exécutions sur 5 sont sélectionnées comme annotations finales. Les points de données ne remplissant pas ce seuil sont marqués comme ambigus et exclus pour garantir la robustesse.

2. Évaluation agnostique au jeu de données :

   • Défi : Les métriques standards (par exemple, le score F1) ne peuvent pas comparer équitablement des modèles entraînés sur des jeux de données aux distributions d'étiquettes ou aux tailles différentes.
   • Solution : Les auteurs introduisent une métrique de taille d'effet normalisée basée sur le Kappa de Cohen ($\kappa_{F1}$).
   • Calcul :
     • Une Ligne de base aléatoire ($F1_{random}$) est calculée théoriquement en fonction de la distribution des classes du jeu de données, représentant la performance attendue d'un modèle qui se contente de refléter le déséquilibre des classes sans apprendre.
     • La Performance du modèle ($F1_{calculated}$) est le score F1 pondéré du modèle entraîné.
     • La métrique est calculée comme suit : $\kappa_{F1} = \frac{F1_{calculated} - F1_{random}}{1 - F1_{random}}$.
   • Cela normalise la performance par rapport au hasard, permettant des comparaisons équitables entre jeux de données et entre études.

Contributions clés

• Annotation fiable par répétition : L'article démontre que plusieurs exécutions indépendantes d'un LLM peuvent produire des annotations cohérentes en interne (Kappa de Fleiss = 0,78 pour GPT-4 à une température de 0,5), surpassant la cohérence des annotations humaines sur le jeu de données cible.
• Amélioration des performances en aval : Les modèles entraînés sur ces étiquettes générées par LLM et filtrées par cohérence atteignent systématiquement de meilleures performances (à la fois en F1 brut et en $\kappa_{F1}$ normalisé) par rapport aux modèles entraînés sur les données « or » étiquetées par des humains à l'origine.
• Cadre d'évaluation : L'introduction de la métrique $\kappa_{F1}$ fournit une méthode fondée sur des principes pour évaluer et comparer des modèles prédictifs à travers des jeux de données aux caractéristiques différentes, comblant une lacune dans l'évaluation du TALN où les référentiels sont instables ou non standardisés.

Résultats

• Cohérence de l'annotation : GPT-4 avec une température de 0,5 a obtenu le plus haut accord inter-exécutions (Kappa de Fleiss = 0,78), nettement supérieur à GPT-4o ou à des paramètres de température plus élevés. Plus de 90 % des points de données avaient au moins une étiquette répétée dans les cinq exécutions dans des conditions optimales.
• Performance de la tâche en aval : Dans les tâches de classification binaire, multi-classes et multi-étiquettes utilisant MentalRoBERTa, les modèles entraînés sur des étiquettes générées par LLM (à la fois RLP et MLP) ont systématiquement surpassé ceux entraînés sur le jeu de données étiqueté par des humains à l'origine. Par exemple, dans la tâche multi-étiquettes avec GPT-4-0,7, le modèle entraîné par LLM a montré une amélioration de 33,1 % par rapport à la ligne de base aléatoire, contre seulement 16,1 % pour le modèle étiqueté par des humains.
• Vérification humaine : Une étude de vérification impliquant trois experts en psychologie sur un sous-ensemble d'échantillons en désaccord a donné des résultats inconclusifs. Les experts n'ont montré aucune préférence marquée pour les étiquettes LLM par rapport aux étiquettes humaines, et l'accord inter-experts était faible (Kappa de Fleiss = 0,20). Cela suggère l'ambiguïté inhérente à la tâche et au jeu de données lui-même, plutôt qu'un échec de la méthode LLM.

Portée et affirmations
L'article affirme que pour les tâches de TALN subjectives où la vérité terrain est inaccessible et l'accord humain faible, la fiabilité (cohérence interne) est une condition préalable nécessaire à la validité. En traitant l'annotation comme un processus de requêtes répétées plutôt que comme une prédiction unique, les LLM peuvent générer des données d'entraînement cohérentes en interne et peu bruyantes, améliorant ainsi la généralisation des modèles en aval.

De plus, les auteurs soutiennent que la métrique $\kappa_{F1}$ proposée offre une solution évolutive pour la communauté plus large du TALN afin de comparer des modèles à travers des jeux de données hétérogènes sans dépendre d'un seul référentiel, potentiellement défectueux. L'étude conclut que, bien que le jeu de données spécifique utilisé présente des limites (par exemple, les entrées des utilisateurs décrivent souvent des événements plutôt que des pensées déformées explicites), la méthodologie exploitant la cohérence des LLM et l'évaluation basée sur la taille d'effet fournit une base robuste pour faire progresser la recherche en TALN pour la santé mentale et autres domaines subjectifs.