Résumé technique : Quantification des sources d'instabilité dans l'analyse de positionnement par LLM du discours public

Énoncé du problème

Les sciences sociales computationnelles (CSS) s'appuient de plus en plus sur des pipelines de prétraitement automatisés — spécifiquement la diarisation des locuteurs, la reconnaissance automatique de la parole (ASR), le nettoyage des transcriptions et la segmentation des phrases — pour convertir les médias bruts en texte analysable. Bien qu'une littérature importante existe concernant la validité de l'annotation (par exemple, si les étiquettes des LLM correspondent aux jugements humains), il existe une lacune critique dans la compréhension de deux sources d'instabilité en amont :

1. Validité du prétraitement : Si les choix dans le pipeline de prétraitement (par exemple, la méthode de diarisation, les règles de segmentation) modifient les conclusions statistiques en aval.
2. Validité de la mesure : Si le choix de l'instrument d'annotation (LLM vs lexique de mots-clés) produit des conclusions différentes même lorsqu'il est appliqué à un texte prétraité identique.

Ces deux sources d'instabilité sont souvent confondues, ce qui rend difficile le diagnostic pour savoir si l'instabilité observée dans les résultats de la recherche provient du pipeline de traitement des données ou de l'instrument de mesure lui-même.

Méthodologie

Les auteurs proposent un cadre d'analyse de sensibilité du pipeline pour dissocier systématiquement ces sources de variation. L'étude utilise un corpus de 256 interviews YouTube présentant 41 figures publiques à travers cinq domaines : Finance/Investissement, Académie/Économie, Banque Centrale/Politique, Géopolitique/Stratégie, et Médias/Commentaire.

Design expérimental

L'étude compare deux variables distinctes :

1. Deux pipelines de prétraitement :
   • Basé sur le VTT : Analyse les fichiers de sous-titres YouTube, dédoublonne les artefacts et utilise un LLM (DeepSeek-V4-Flash) pour la classification binaire des locuteurs (« invité » vs « intervieweur »).
   • Basé sur l'audio (AssemblyAI) : Utilise une API commerciale pour l'ASR et la diarisation des locuteurs, identifiant le locuteur dominant par le nombre de mots comme étant l'invité.
2. Deux méthodes de mesure :
   • Annotation par LLM : Annotation zero-shot de la valence (positive/négative/neutre) et de la modalité épistémique (emphatique/atténuée/neutre) utilisant DeepSeek-V4-Flash.
   • Score par lexique de mots-clés : Une approche basée sur des règles utilisant un lexique prédéfini de motifs pour la valence négative/positive et la modalité, normalisée par la longueur de caractère de la vidéo.

Cadre de diagnostic

Les auteurs définissent deux métriques pour quantifier l'instabilité :

• Divergence de pipeline ($\Delta_{pipeline}$) : Le changement dans une métrique dérivée (spécifiquement la corrélation de Pearson $r$ entre la valence négative et la modalité emphatique) lors du passage d'un pipeline de prétraitement à un autre pour la même méthode de mesure.
• Divergence de méthode ($\Delta_{method}$) : La différence absolue de la métrique lors du passage entre l'annotation par LLM et le lexique de mots-clés sur le même texte prétraité.

L'analyse se concentre sur les corrélations par locuteur ($r(neg, emph)$ et $r(neg, hedged)$), en excluant les locuteurs ayant moins de 4 vidéos pour éviter les corrélations spécieuses dues à de petits échantillons.

Résultats clés

1. La sensibilité du pipeline est bornée et dépend de la taille de l'échantillon

• Concentration chez les locuteurs à faible N : La sensibilité au prétraitement est fortement concentrée chez les locuteurs ayant un nombre limité d'échantillons vidéo ($N \le 5$). Pour ces locuteurs, la variation absolue moyenne de la corrélation ($|\Delta r|$) est élevée (0,44), et les inversions de signe sont fréquentes.
• Stabilité chez les locuteurs bien échantillonnés : Pour les quatre locuteurs les mieux échantillonnés ($N \ge 16$), le $|\Delta r|$ moyen induit par le choix du pipeline est de seulement 0,13 sous l'annotation par LLM. Aucun locuteur bien échantillonné n'a dépassé un $\Delta r$ de 0,19.
• Variation par domaine : La sensibilité varie selon le domaine. Le discours médiatique a montré la plus grande robustesse au pipeline ($|\Delta r| = 0,32$ sous LLM), tandis que la Finance et l'Académie étaient les plus sensibles ($0,46$).

2. Le désaccord entre méthodes est la menace dominante

• Magnitude du désaccord : La divergence de la méthode de mesure est nettement plus grande et plus systématique que la divergence du pipeline. À travers les 41 locuteurs, la $\Delta_{method}$ moyenne (0,76) est presque le double de la $\Delta_{pipeline}$ moyenne (0,41).
• Inversion de signe systématique : Les méthodes par LLM et par lexique de mots-clés attribuent des directions de couplage opposées (inversions de signe) dans 49 % des cas. Cela se produit même chez les locuteurs bien échantillonnés (par exemple, Rogoff avec 17 vidéos) où les deux méthodes sont intrinsèquement stables. Par exemple, pour Rogoff, la divergence de pipeline était de 0,19, mais la divergence de méthode sur le même pipeline VTT était de 0,90.
• Masquage agrégat : Les proportions de valence agrégées restent très stables ($|\Delta p(neg)| < 6$ points de pourcentage) quel que soit le pipeline ou la méthode. Cette stabilité masque l'instabilité substantielle présente dans les corrélations multidimensionnelles.

3. Le domaine module la sensibilité

Les styles de communication professionnelle modulent la manière dont les choix de prétraitement se propagent aux mesures. Par exemple, les marqueurs d'atténuation académique et les intensificateurs médiatiques présentent une robustesse différente à la fragmentation des phrases (un sous-produit de la segmentation VTT) par rapport au discours géopolitique.

Contributions clés

1. Cadre de diagnostic : L'article introduit un cadre de diagnostic à deux sources qui sépare les effets du pipeline de prétraitement des effets de la méthode de mesure, fournissant une méthode pratique pour que les chercheurs rapportent et analysent ces deux sources d'instabilité.
2. Limites empiriques de la sensibilité du pipeline : Il fournit la preuve que la sensibilité du pipeline est prévisible. Pour des locuteurs adéquatement échantillonnés ($N \ge 16$), l'impact des choix de prétraitement sur les conclusions corrélationnelles est borné ($|\Delta r| \approx 0,13$).
3. Identification de la validité de la mesure comme menace primaire : L'étude démontre que le désaccord entre méthodes est une menace de validité plus grave que la divergence de prétraitement. Les conclusions concernant le couplage de la valence affective et de la modalité épistémique peuvent être systématiquement altérées par le choix de l'instrument d'annotation, même lorsque le pipeline de prétraitement est maintenu constant.

Signification et affirmations

L'article soutient que les chercheurs étudiant les relations trans-dimensionnelles dans les données d'interview doivent vérifier que leurs conclusions sont robustes à ces deux sources de variation. Les auteurs affirment que :

• Les choix de prétraitement comptent, mais sont bornés : Bien que les choix de pipeline affectent les résultats, l'ampleur de cet effet est prévisible et gérable pour les locuteurs disposant de suffisamment de données.
• Le choix de la mesure est critique : Le choix entre l'annotation par LLM et les lexiques de mots-clés peut fondamentalement inverser les conclusions scientifiques (par exemple, changer une corrélation positive en une corrélation négative).
• Normes de rapport : Les chercheurs en CSS devraient explicitement séparer ces deux sources d'instabilité dans leurs rapports. Une corrélation qui survit à la fois à un pipeline de prétraitement alternatif et à une méthode de mesure alternative est jugée plus crédible qu'une corrélation validée au sein d'une seule combinaison pipeline-méthode.

Les auteurs maintiennent une position modeste, reconnaissant les limites telles que l'utilisation d'un seul fournisseur de LLM, un corpus exclusivement en anglais, et l'incapacité à isoler totalement les effets de la diarisation des effets de la segmentation des phrases dans leur conception actuelle. Ils ne prétendent pas qu'une méthode est universellement « correcte », mais que la divergence elle-même est un signal diagnostique nécessitant une investigation.