💬 NLP

Assessing Algorithmic Bias in Language-Based Depression Detection: A Comparison of DNN and LLM Approaches

Cette étude compare les réseaux de neurones profonds et les grands modèles de langage pour la détection de la dépression dans les entretiens cliniques, constatant que, bien que les LLM surpassent généralement les DNN et présentent un biais de genre réduit, les deux approches peinent encore face aux disparités raciales, des techniques spécifiques axées sur l'équité comme la perte de pire groupe (worst-group loss) pour les DNN et le prompt éthique pour les LLM offrant une atténuation partielle.

Auteurs originaux : Obed Junias, Prajakta Kini, Theodora Chaspari

Publié 2026-01-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Obed Junias, Prajakta Kini, Theodora Chaspari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez deux types de détectives différents essayant de résoudre un mystère : « Cette personne se sent-elle déprimée ? » en se basant uniquement sur ce qu'elle dit lors d'un entretien.

Le Détective A (le DNN) est comme un jeune officier hautement qualifié et spécialisé. Il a étudié des milliers de livres de santé mentale et connaît les « règles » spécifiques du langage qui signalent souvent la tristesse.
Le Détective B (le LLM) est comme un génie polyvalent et super-intelligent qui a lu presque tout sur Internet. Il n'a pas été spécifiquement entraîné pour cette affaire précise, mais il est incroyablement doué pour comprendre la nuance, le ton et le contexte.

Les chercheurs de cet article ont voulu voir quel détective est le meilleur pour résoudre l'affaire et, plus important encore, est-ce que l'un des deux traite les gens équitablement ? Font-ils plus d'erreurs pour certains groupes de personnes (comme les hommes par rapport aux femmes, ou différentes origines raciales) que pour d'autres ?

Voici la décomposition de leur enquête en utilisant des analogies simples :

1. La mise en place : La salle d'interrogatoire

Les détectives ont reçu des transcriptions du DAIC-WOZ, une collection d'entretiens cliniques réels où des personnes parlaient de leur vie. Les chercheurs ont examiné deux principaux « suspects » de biais :

Le genre : Hommes contre Femmes.
La race/l'ethnie : Blanc/Caucasien contre Afro-Américain contre Hispanique.

2. L'affrontement : Qui est le meilleur ?

Le Résultat : Le LLM (Détective B) était généralement meilleur pour détecter la dépression que le DNN (Détective A).

L'analogie : Considérez le DNN comme un étudiant qui a mémorisé un manuel. Il connaît les définitions mais peut passer à côté de « l'ambiance » d'une conversation. Le LLM est comme un conseiller expérimenté capable de lire entre les lignes.
Le bémol : Même si le LLM était plus intelligent globalement, il avait toujours des angles morts. Il était particulièrement efficace pour aider le groupe Hispanique (que le DNN peinait presque totalement à traiter), mais il avait encore du mal à traiter les participants Afro-Américains et Blancs de la même manière.

3. Corriger les biais : L'« entraînement »

Les chercheurs ont essayé de « corriger » les détectives pour les rendre plus équitables.

Corriger le Détective A (le DNN)

Puisque le DNN est un modèle d'apprentissage automatique, vous pouvez modifier son « calcul » pour le forcer à être équitable. Ils ont essayé deux méthodes :

Méthode 1 : « La règle du pire groupe » (Worst-Group Loss). Imaginez un professeur qui dit : « Je me fiche de vos résultats avec les élèves faciles ; je ne m'intéresse qu'au fait que vous puissiez réussir avec l'élève le plus difficile ». Le modèle a été forcé de se concentrer sur le groupe pour lequel il échouait le plus.
- Résultat : Cela a bien fonctionné ! Cela a équilibré les scores sans détruire la précision globale du détective.
Méthode 2 : « La règle de la moyenne » (Fairness-Regularized Loss). Cette méthode tentait de rendre les scores égaux pour tout le monde en même temps.
- Résultat : Cela a rendu le détective trop confus. Il essayait tellement d'être juste envers tout le monde qu'il est devenu moins performant pour détecter la dépression de manière générale.

Corriger le Détective B (le LLM)

On ne peut pas réentraîner facilement le LLM, alors les chercheurs ont utilisé le Prompting (donner au détective un ensemble d'instructions spécifiques avant qu'il ne commence).

Le Prompt de « Cadrage Éthique » : Ils ont donné au LLM une note disant : « Hé, traite tout le monde de manière égale, quels que soient leur genre ou leur race. N'utilise pas de stéréotypes. Contente-toi d'observer les mots. »
- Résultat : Cela a beaucoup aidé pour le biais de genre. Lorsque le LLM recevait un seul exemple (1-shot) et cette note éthique, il traitait les hommes et les femmes de manière beaucoup plus équitable.
- La limite : Donner au LLM plus d'exemples (3-shot ou 5-shot) n'a pas aidé à corriger le biais davantage. De plus, cette « Note Éthique » n'a pas vraiment corrigé le biais concernant la race. Le LLM avait toujours du mal à traiter les différents groupes raciaux de manière égale, peu importe le nombre d'instructions ou d'exemples donnés.

4. Le coût de la justice

Il y avait un compromis entre le temps et l'argent.

Le Détective A (DNN) était incroyablement rapide, résolvant une affaire en 0,002 seconde.
Le Détective B (LLM) mettait environ 0,68 seconde par affaire.
La conclusion : Bien que le LLM soit plus lent et plus « coûteux » à utiliser, il était généralement plus précis et plus facile à corriger pour le biais de genre que le DNN, plus rapide et moins cher.

Résumé des conclusions

Le LLM est le détective le plus fort globalement, surtout pour les groupes que le DNN a complètement manqués (comme les participants Hispaniques).
Le biais est tenace. Même l'IA la plus intelligente (LLM) a toujours du mal à traiter les différents groupes raciaux de manière identique, même lorsqu'on lui donne des instructions éthiques.
L'astuce mathématique du « Pire Groupe » était le meilleur moyen de corriger le biais du DNN sans briser sa précision.
Les instructions éthiques ont aidé le LLM à traiter les hommes et les femmes équitablement, mais seulement lorsqu'il n'examinait qu'un seul exemple à la fois.

En bref : Cet article montre que, bien que l'IA s'améliore pour détecter la dépression, nous avons encore un long chemin à parcourir pour garantir qu'elle ne discrimine pas accidentellement les gens en fonction de qui ils sont. Les « corrections » que nous tentons dépendent fortement du fait que nous utilisions un modèle spécialisé ou un géant à usage général.

Résumé Technique : Évaluation du Biais Algorithmique dans la Détection de la Dépression Basée sur le Langage

Énoncé du Problème
Bien que le Traitement du Langage Naturel (NLP) offre des perspectives prometteuses pour la détection automatisée de la dépression grâce aux indices linguistiques, d'importantes préoccupations subsistent concernant le biais algorithmique entre les groupes sociodémographiques. La littérature existante indique que les marqueurs linguistiques de la dépression varient selon le genre, la race et l'ethnie, ce qui peut entraîner des performances disparates dans les systèmes automatisés. Bien que des travaux antérieurs aient abordé le biais dans la détection de la dépression basée sur l'audio ou multimodale, il existe une lacune notable dans l'évaluation des modèles textuels uniquement entraînés sur des transcriptions d'entretiens cliniques. De plus, l'impact des modèles de langage de grande taille (LLM) émergents sur ces disparités, ainsi que l'efficacité des stratégies d'atténuation des biais dans les contextes de NLP clinique, restent sous-explorés. Cette étude investigue ces questions en comparant les plongements (embeddings) de réseaux de neurones profonds (DNN) avec des approches de type "few-shot" sur les LLM à l'aide du corpus d'entretiens cliniques DAIC-WOZ (Distress Analysis Interview Corpus/Wizard-of-Oz), en se concentrant sur le genre et la race/ethnie comme sources primaires de biais.

Méthodologie
L'étude utilise le jeu de données DAIC-WOZ, comprenant des entretiens cliniques évalués par le Patient Health Questionnaire-8 (PHQ-8). Après avoir exclu les participants présentant des données démographiques manquantes, l'analyse couvre 186 participants pour le genre et 184 pour la race/ethnie.

Architectures de Modèles :
- Approche basée sur les DNN : L'étude emploie Mental-RoBERTa, un modèle adapté au domaine et pré-entraîné sur des corpus de santé mentale. Pour gérer les transcriptions longues, une stratégie de découpage (fenêtres de 300 mots avec un chevauchement de 80 mots) a été utilisée, les prédictions finales étant déterminées par vote majoritaire.
- Approche par LLM : GPT-4o-mini a été utilisé pour l'apprentissage "few-shot". L'étude a comparé le Prompting Non Guidé (UP) au Prompting Guidé (GP), qui inclut des indices linguistiques spécifiques à la dépression, et au Prompting Guidé avec Cadrage Éthique (GP-EF), qui ajoute des instructions explicites pour éviter les stéréotypes et assurer un traitement équitable. Les expériences ont été menées dans des configurations de 1-shot, 3-shot et 5-shot.
Stratégies d'Atténuation des Biais :
- Pour les DNN : Deux fonctions de perte sensibles à l'équité ont été implémentées :
  - Perte du Groupe le Moins Performant (Worst-Group Loss) : Pénalise le modèle en fonction du sous-groupe présentant la perte d'entropie croisée la plus élevée afin d'améliorer la performance du groupe le moins performant.
  - Perte Régularisée par l'Équité (Fairness-Regularized Loss) : Ajoute un terme de pénalité proportionnel à la disparité maximale des pertes spécifiques aux sous-groupes.
- Pour les LLM : L'atténuation du biais a été explorée uniquement via l'apprentissage en contexte par l'ingénierie de prompt (GP et GP-EF) et la variation du nombre de "shots".
Métriques d'Évaluation :
La performance a été mesurée via l'Exactitude Équilibrée (BA), le Taux de Vrais Positifs (TPR), la Précision et le score F1. L'équité a été quantifiée par l'Égalité des Chances (EO), définie comme $1 - |TPR_{non-sensible} - TPR_{sensible}|$ . La signification statistique a été évaluée via des tests t et des ANOVA.

Principales Contributions
Cet article contribue au domaine en :

Fournissant une analyse comparative des plongements basés sur les DNN et des LLM pour la détection de la dépression, en évaluant à la fois la performance et l'équité algorithmique.
Examinant les contraintes de modélisation sensibles à l'équité (fonctions de perte) pour la détection de la dépression textuelle, une tâche auparavant dominée par la recherche sur les données tabulaires ou multimodales.
Investiguant les techniques d'apprentissage en contexte avec des cadrages de prompts variés pour atténuer le biais dans les LLM, une approche qui n'avait pas été étudiée auparavant pour la détection de la dépression.

Résultats

Comparaison de Performance : Les LLM ont généralement surpassé les plongements basés sur les DNN dans la classification de la dépression, particulièrement pour les groupes sous-représentés tels que les participants hispaniques.
Biais de Genre :
- DNNs : Ont montré des disparités de genre significatives (EO = 0,85) avant atténuation. La Worst-Group Loss a atteint un meilleur équilibre entre performance et équité par rapport à la Fairness-Regularized Loss, qui a amélioré l'équité mais au prix d'une réduction de l'exactitude.
- LLMs : Ont présenté un biais de genre réduit par rapport aux DNN (EO = 0,93 en 1-shot). La stratégie GP-EF a davantage amélioré l'EO dans la configuration 1-shot, rendant les différences de genre dans le TPR statistiquement insignifiantes. Cependant, l'augmentation du nombre de shots (3 et 5) n'a pas réduit systématiquement les disparités.
Biais de Race/Ethnie :
- DNNs : Des disparités significatives existaient, les participants hispaniques affichant des performances proches du hasard avant le débaisage. Les deux fonctions de perte ont amélioré la performance pour les groupes hispaniques et afro-américains, la Worst-Group Loss offrant un meilleur équilibre.
- LLMs : Bien que les LLM aient amélioré la détection globale pour les participants hispaniques par rapport aux DNN, les disparités raciales ont persisté. Ni le cadrage de prompt (GP, GP-EF) ni l'augmentation du nombre de shots n'ont réussi à réduire efficacement les disparités entre les groupes Afro-Américains/Hispaniques et Blanc/Caucasien.
Efficacité : Les plongements basés sur les DNN étaient nettement plus rapides (0,0025s par échantillon) que les LLM (0,68s par échantillon), bien que les LLM aient démontré des résultats de performance et d'équité supérieurs.

Signification et Revendications
L'article conclut que si les LLM offrent une performance supérieure et un biais de genre généralement réduit par rapport aux plongements DNN traditionnels, les disparités sociodémographiques — particulièrement à travers les groupes raciaux — persistent dans les deux types de modèles. L'étude souligne que les stratégies d'atténuation du biais ne sont pas universelles ; la Worst-Group Loss s'est avérée efficace pour les DNN, tandis que le Cadrage Éthique dans les prompts a montré des promesses pour les LLM dans des contextes spécifiques (analyse de genre en 1-shot).

Les auteurs affichent une conclusion modeste, indiquant que ces résultats soulignent la complexité de l'équilibre entre équité et exactitude dans le NLP clinique. Ils insistent sur la nécessité d'adapter les stratégies de débaisage aux types de modèles et aux contextes démographiques spécifiques. L'étude reconnaît des limites, notamment la sous-représentation des participants hispaniques souffrant de dépression dans le jeu de données et l'évaluation de seulement deux modèles représentatifs par catégorie, suggérant que les travaux futurs devraient explorer des gammes de modèles plus larges et des jeux de données multilingues pour valider la généralisabilité.