Scaling In, Not Up? Testing Thick Citation Context Analysis with GPT-5 and Fragile Prompts

1. Problématique et Contexte

L'article s'attaque à une limitation fondamentale de l'analyse de contexte de citation (CCA) traditionnelle, qui vise généralement à « mettre à l'échelle vers le haut » (scaling up) : c'est-à-dire automatiser la classification des références bibliographiques en catégories typologiques fixes (ex. : « citation de soutien », « citation négative ») sur de grands corpus.

L'auteur souligne que cette approche repose sur une prémisse sociologiquement fragile : l'hypothèse que tous les lecteurs compétents s'accordent sur la fonction d'une citation. Or, comme l'a démontré Gilbert (1977), le sens d'une citation est souvent sous-déterminé, ambigu, et dépend du contexte, de l'audience et de la rhétorique. Les critiques négatives sont souvent voilées, et les intentions des auteurs ne sont pas toujours accessibles.

Le problème central est donc de savoir si les Grands Modèles de Langage (LLM), souvent utilisés pour automatiser la classification, peuvent être détournés pour « mettre à l'échelle vers le dedans » (scaling in). L'objectif n'est pas de produire une étiquette unique, mais d'utiliser le LLM pour générer, structurer et organiser une plurauté interprétative (un éventail de lectures plausibles et textuellement ancrées) autour d'un cas difficile, en traitant le désaccord et l'ambiguïté comme l'objet d'étude lui-même.

2. Méthodologie

L'étude utilise une approche expérimentale rigoureuse basée sur un « cas dur » canonique : la note de bas de page 6 de l'article de Chubin et Moitra (1975), analysée historiquement par Gilbert (1977) comme un exemple de critique indirecte.

A. Pipeline à deux étapes (GPT-5)

L'auteur a conçu un pipeline de promptage en deux étapes pour simuler un processus d'analyse humaine :

1. Étape 1 (Classification de surface) : Le modèle classe la citation selon les catégories hiérarchiques de Chubin et Moitra (ex. : « Supplémentaire », « Négatif ») et formule des attentes sur le contenu des textes cités, en se basant uniquement sur le texte de la citation.
2. Étape 2 (Reconstruction interprétative) : Une nouvelle instance du modèle reçoit les sorties de l'étape 1, ainsi que les textes complets de l'article citant (Chubin & Moitra) et des articles cités (Price, Gilbert & Woolgar). Le modèle doit alors :
   • Vérifier les attentes contre les textes réels.
   • Analyser les indices lexicaux et rhétoriques.
   • Générer 5 hypothèses interprétatives distinctes et justifiées, qui complexifient la classification initiale.

B. Design expérimental (2x3)

Pour tester la sensibilité aux prompts (prompt-sensitivity), l'auteur a fait varier la configuration de l'étape 2 selon un design factoriel équilibré 2x3 :

• 2 Structures de base (Scaffolding) :
  • 4 étapes : Le modèle suit un processus explicite (vérification, analyse d'indices, contexte étendu, hypothèses).
  • 1 étape : Le modèle passe directement aux 5 hypothèses sans étapes intermédiaires.
• 3 Conditions de « Nudge » (Encouragement) :
  • Aucun nudge : Pas d'exemples supplémentaires.
  • Vers le cas (Toward) : Exemples suggérant des interprétations plausibles pour ce cas (ex. : lignée intellectuelle, critique voilée, pont entre audiences).
  • Éloigné du cas (Away) : Exemples suggérant des interprétations moins plausibles ici (ex. : blâme déguisé en louange excessive, fonction pédagogique).

C. Analyse des données

• Données : 90 exécutions au total, générant 450 paires hypothèse-justification.
• Codage : Analyse qualitative inductive menant à 21 codes binaires (ex. : « Agile », « Préemptif », « Canon », « MuteGW ») pour capturer les mouvements interprétatifs récurrents.
• Modélisation : Utilisation de modèles linéaires de probabilité (LPM) pour estimer comment les choix de prompts (structure et nudges) modifient la fréquence des codes et le vocabulaire utilisé.

3. Résultats Clés

A. Stabilité de surface vs. Pluralité interprétative (RQ1 & RQ2)

• Étape 1 : Le modèle est extrêmement stable dans sa classification de surface, classant la note comme « Supplémentaire » dans 100% des cas, confirmant la lecture de surface conventionnelle.
• Étape 2 : Une fois confronté aux textes complets, le modèle génère un espace structuré de 450 hypothèses distinctes. Ces hypothèses ne se contentent pas de répéter la classification, mais explorent des rôles variés : gestion de la critique, justification pragmatique, construction de lignée intellectuelle, ou pontage d'audiences.

B. Impact de la structure et du cadrage (RQ3)

L'analyse montre que le design du prompt redistribue systématiquement l'espace interprétatif :

• Scaffolding (4 étapes) : Favorise les lectures centrées sur la « lignée » (Canon, PrioP) et l'autorité (UseGW), rendant le modèle plus attentif aux détails textuels spécifiques.
• Nudges :
  • Le nudge Toward augmente la probabilité de lectures liées à la lignée (PrioP), à la critique atténuée (MuteGW) et au pontage d'audience (Bridge).
  • Le nudge Away augmente les lectures « pédagogiques » (Teach) et d'alignement sur le journal (SSS), mais réduit les lectures pragmatiques (Agile).
• Conclusion : Les prompts ne créent pas de nouvelles interprétations ex nihilo, mais ils agissent comme des leviers qui inclinent l'attention du modèle vers certaines régions de l'espace des possibles et modifient le vocabulaire rhétorique utilisé.

C. Comparaison avec Gilbert (RQ4)

• Le modèle détecte les mêmes « charnières textuelles » que Gilbert (l'absence de citation de Price par Gilbert & Woolgar au moment de la définition, et l'usage du mot « réitéré »).
• Divergence majeure : Alors que Gilbert interprète ces indices comme une « admonestation voilée » (une critique sévère), le modèle GPT-5 tend à résoudre ces tensions en termes de gestion de lignée et de positionnement stratégique (normaliser la distinction, effacer les conflits). Le modèle évite la lecture conflictuelle explicite, probablement en raison de ses mécanismes d'alignement (safety tuning) favorisant la coopération.

4. Contributions et Signification

Contributions Méthodologiques

1. Changement de paradigme (Scaling In) : L'article propose une nouvelle utilisation des LLM en sciences sociales : non pas pour automatiser la classification (scaling up), mais pour assister l'analyste humain dans la génération de « descriptions épaisses » (thick descriptions) et de multiples reconstructions interprétatives.
2. Analyse de la sensibilité aux prompts : Il démontre que la sensibilité aux prompts n'est pas un bruit à éliminer, mais un objet d'analyse en soi. Les choix de prompt (scaffolding, exemples) sont des variables méthodologiques qui façonnent activement les résultats interprétatifs.
3. Pipeline reproductible : La traduction de l'analyse hermétique de Gilbert en un pipeline de prompting explicite rend le processus de lecture « inspectable », contestable et reproductible.

Implications pour la Sociologie des Sciences

• LLM comme co-analyste guidé : Le modèle ne remplace pas le jugement humain mais agit comme un partenaire capable de produire un large éventail d'hypothèses textuellement ancrées, aidant à contrer la tendance humaine à compresser la variation interprétative une fois les routines établies.
• Gestion de l'ambiguïté : L'étude montre que les LLM peuvent gérer l'ambiguïté et l'indétermination des textes scientifiques, à condition que le cadre méthodologique (prompts) soit conçu pour explorer la pluralité plutôt que pour converger vers une seule vérité.
• Limites et Biais : L'article met en garde contre les biais d'alignement des modèles (qui peuvent éviter les lectures conflictuelles comme l'« admonestation ») et l'influence des exemples fournis dans les prompts, qui peuvent orienter l'analyse vers des scénarios spécifiques.

Conclusion

L'article conclut que la récupération du sens implicite dans les citations peut être partiellement déléguée aux LLM, non pas pour obtenir une réponse unique, mais pour élargir l'espace des interprétations plausibles. La tâche de l'analyste humain évolue alors de la production de lecture vers la curatelle et la critique de ces lectures générées, en utilisant le modèle comme un outil pour explorer systématiquement les marges de l'interprétation textuelle.