Résumé technique : Un simple sondage ? Utilisation des grands modèles de langage pour le codage de réponses de sondages ouvertes en allemand sur la motivation à répondre aux enquêtes

Énoncé du problème

La classification des réponses de sondages à questions ouvertes est une tâche gourmande en ressources qui nécessite traditionnellement un codage manuel par des humains ou des modèles d'apprentissage automatique (ML) supervisés exigeant des données d'entraînement, une expertise et un prétraitement considérables. Bien que les grands modèles de langage (LLM) offrent des capacités prometteuses pour la classification de textes grâce à leur adaptabilité linguistique et leur capacité à gérer des entrées courtes et pauvres en contexte, la recherche existante sur leur application aux données d'enquête est limitée. La plupart des études se concentrent sur des réponses en anglais, des sujets non complexes ou des familles de modèles uniques. De plus, les préoccupations concernant la reproductibilité, la fiabilité et la généralisabilité des résultats aux langues autres que l'anglais (spécifiquement l'allemand) et aux schémas de codage multi-catégories complexes restent non résolues. Cette étude comble la lacune de compréhension des conditions dans lesquelles les LLM peuvent être exploités de manière efficace et précise pour le codage de réponses de sondages ouvertes en allemand, spécifiquement concernant la motivation à participer aux enquêtes.

Méthodologie

Données et schéma de codage

L'étude utilise les données du GESIS Panel.pop, un panel probabiliste allemand en mode mixte. Le jeu de données se compose d'environ 25 000 réponses ouvertes à une question annuelle concernant les raisons de la participation à l'enquête (raisons primaires, secondaires et tertiaires). Pour l'analyse, un échantillon aléatoire de 5 072 réponses a été sélectionné. Ces réponses ont été codées indépendamment par deux chercheurs en enquêtes utilisant un schéma de codage prédéfini comprenant 22 catégories (incluant des raisons intrinsèques, extrinsèques et liées à l'enquête, ainsi que des catégories fourre-tout comme « Aucune raison » et « Autre »). L'accord inter-codeurs était élevé (kappa de Cohen = 0,91), les désaccords ayant été résolus par un expert senior. Ces codes humains servent de vérité de terrain (ground truth) pour l'évaluation.

Sélection des modèles

L'étude compare trois familles de LLM de pointe, sélectionnées pour leurs capacités multilingues :

1. GPT-4o (OpenAI) : Un modèle propriétaire noté pour ses améliorations dans les langues non anglaises. Il a été accédé via AzureOpenAI pour garantir la confidentialité des données et la reproductibilité.
2. Llama 3.2-3B-Instruct (Meta) : Un modèle open-source, sélectionné comme l'option multilingue la plus capable de sa suite disponible en Europe.
3. Mistral-NeMo-Instruct-2407 (Mistral AI) : Un modèle open-source européen spécifiquement conçu pour des applications mondiales et multilingues, avec une force notée en allemand.

Approches de prompting (incitation)

Quatre stratégies de prompting distinctes ont été évaluées :

• Zero-shot (sans exemple) : Le modèle reçoit le schéma de codage sans exemples ni définitions détaillées.
• Zero-shot avec descriptions : Le modèle reçoit le schéma de codage avec des définitions détaillées pour chaque catégorie.
• Few-shot (avec quelques exemples) : Le modèle reçoit un exemple de réponse par catégorie (22 exemples au total) aux côtés du schéma de codage.
• Fine-tuning (ajustement fin) : Appliqué uniquement à GPT-4o en raison des contraintes de ressources. Le modèle a été ajusté sur 80 % des données codées par les humains (4 048 réponses) et évalué sur les 20 % restants (1 024 réponses).

Configuration expérimentale

• Température : Définie à 0 pour tous les modèles afin de maximiser le déterminisme et la fiabilité.
• Exécution : Chaque réponse a été traitée individuellement avec une mémoire rafraîchie. Les requêtes ont été exécutées deux fois par modèle/approche pour évaluer la fiabilité.
• Métriques d'évaluation : La métrique principale était le score F1 macro, choisi pour tenir compte de la distribution déséquilibrée des catégories. Des métriques additionnelles incluaient le F1 pondéré, l'exactitude (accuracy) et les coefficients de corrélation intraclasse (ICC) pour la fiabilité.

Résultats clés

Différences de performance entre les modèles

• Supériorité des modèles : GPT-4o a systématiquement surpassé les modèles open-source (Llama et Mistral) à travers toutes les approches de prompting.
• Performance absolue : Sans fine-tuning, même les modèles open-source les plus performants n'ont pas atteint de niveaux de performance satisfaisants. GPT-4o a atteint un F1 macro d'environ 0,70 avec le prompting few-shot, ce qui reste inférieur à la performance des méthodes supervisées (ex: SVM) rapportées dans des études précédentes sur les mêmes données.
• Impact du fine-tuning : Le fine-tuning de GPT-4o a entraîné une augmentation spectaculaire de la performance, atteignant un F1 macro de 0,87. Cette approche a produit une distribution catégorielle qui correspondait parfaitement à la référence codée par les humains, avec pratiquement aucune classification manquante.

Performance par catégorie

• Haute performance : Tous les modèles ont performé exceptionnellement bien sur les catégories fréquentes et substantielles telles que « incitation », « intérêt » et « plaisir » (F1 macro ~0,9).
• Faible performance : Les modèles ont eu beaucoup de mal avec les catégories fourre-tout non substantielles, spécifiquement « Aucune raison » (ex: « ne sais pas », « ??? »), « Non identifiable/autre » et « Autre caractéristique de l'enquête ».
• Décalages distributionnels : En raison de la faible performance sur certaines catégories, les modèles non ajustés ont produit des distributions catégorielles déformées par rapport aux codeurs humains. Par exemple, les modèles open-source ont sur-assigné la « curiosité » et sous-assigné le « aucune raison », ce qui pourrait biaiser les analyses de fond.

Approches de prompting

• Zero-shot vs. Few-shot : Le prompting few-shot a considérablement amélioré la performance des modèles open-source (une augmentation de ~0,18 en F1 macro) mais a eu un effet marginal sur GPT-4o.
• Descriptions : Fournir des descriptions détaillées des catégories n'a pas systématiquement amélioré la performance et, dans certains cas, l'a dégradée par rapport au simple prompting zero-shot.
• Fiabilité : Tous les modèles ont montré une grande fiabilité (ICC > 0,93) à travers les itérations. Notamment, Mistral a produit des sorties identiques à travers les itérations lorsque la température était réglée à zéro, tandis que GPT et Llama ont montré de légères variations, suggérant que régler la température à zéro ne garantit pas toujours un déterminisme parfait dans toutes les implémentations de modèles.

Contributions clés

1. Vérification de la généralisabilité : L'étude démontre que les conclusions issues de tâches de sondage en anglais et non complexes ne se généralisent pas automatiquement aux tâches de codage complexes à multi-catégories en langue allemande.
2. Dépendance au modèle et à la stratégie : Elle établit que la performance des LLM est hautement conditionnée par l'architecture spécifique du modèle et la stratégie de prompting. Aucune approche « prête à l'emploi » unique ne fonctionne universellement.
3. Nécessité du fine-tuning : La recherche souligne que pour des domaines spécifiques et complexes, le fine-tuning sur des données codées par des humains est souvent nécessaire pour atteindre des niveaux de performance comparables ou supérieurs aux méthodes supervisées établies.
4. Validité distributionnelle : Elle met en garde contre l'utilisation de LLM non ajustés qui peuvent produire des erreurs systématiques dans les distributions catégorielles, ce qui peut compromettre les analyses de fond ultérieures des données d'enquête.

Signification et affirmations

L'article conclut que si les LLM présentent un potentiel pour le codage des réponses de sondages ouvertes, ils ne sont pas une solution « universelle ».

• Pour les contextes faciles : Dans des contextes plus simples (ex: anglais, sujets communs), les LLM prêts à l'emploi peuvent servir d'alternatives efficaces au codage manuel ou au ML traditionnel.
• Pour les contextes complexes : Pour des sujets spécifiques et complexes dans des langues autres que l'anglais, la performance brute des LLM est souvent insuffisante par rapport aux méthodes établies. Le succès nécessite soit un ingénierie de prompt soignée (spécifiquement le prompting few-shot), soit, plus efficacement, le fine-tuning sur des données codées par des humains.
• L'humain dans la boucle : Les auteurs affirment que l'humain doit rester dans la boucle. Le fine-tuning nécessite des données de référence codées par des humains, et la fiabilité des modèles non locaux dans le temps n'est pas garantie en raison des mises à jour ou de la dépréciation potentielle.
• Compromis : Les chercheurs doivent peser les compromis entre les modèles propriétaires (haute performance, coût, préoccupations de confidentialité) et les modèles open-source (confidentialité, reproductibilité, performance moindre, exigences de calcul élevées).

En fin de compte, l'étude met en garde contre l'adoption non critique des LLM pour le codage de sondages, soulignant qu'une validation rigoureuse par rapport aux références humaines est essentielle avant le déploiement, particulièrement lorsque l'objectif est de préserver l'intégrité de la distribution des données pour l'analyse de fond.