Scaling In, Not Up? Testing Thick Citation Context Analysis with GPT-5 and Fragile Prompts

1. Il Problema di Ricerca

L'analisi del contesto di citazione (Citation Context Analysis - CCA) è tradizionalmente approcciata con una logica di "scaling up": si creano schemi di classificazione tipologici e si addestrano modelli automatizzati per applicarli su grandi corpora, assegnando etichette stabili (es. "supplementare", "negativo") ai riferimenti bibliografici.
Tuttavia, questa approccio è stato criticato (es. da Gilbert, 1977) per la sua fragilità sociologica: il significato di una citazione è spesso persuasivo, ambiguo, dipendente dal contesto e soggetto a interpretazioni plurali. Le letture "spesse" (thick readings) richiedono una familiarità con il caso specifico e la capacità di cogliere sfumature implicite, critiche velate o posizionamenti strategici che le classificazioni superficiali perdono.
Il paper si pone la domanda: invece di scalare la classificazione verso l'alto (più dati, meno profondità), è possibile scalare "verso l'interno" (scaling in) l'interpretazione? Cioè, può un Large Language Model (LLM) agire come un co-analista guidato per generare, strutturare e contestare un ventaglio di letture interpretative plausibili per un singolo caso difficile, piuttosto che cercare un'unica etichetta corretta?

2. Metodologia

Lo studio utilizza un caso studio "difficile" (hard case): la nota a piè di pagina 6 di Chubin e Moitra (1975), analizzata storicamente da Gilbert (1977). Questa nota sembra una semplice attribuzione, ma Gilbert ne ha dimostrato l'ambiguità, suggerendo che potrebbe nascondere una critica velata ("admonishment") verso Gilbert e Woolgar per non aver citato Price nel momento della definizione.

Il metodo si basa su un pipeline di prompting a due stadi utilizzando il modello GPT-5:

• Stadio 1 (Classificazione Superficiale): Il modello analizza solo il testo della citazione (nota 6) per assegnare una classificazione tipologica (basata sugli schemi di Chubin e Moitra) e formulare aspettative sul contenuto delle opere citate. Questo stadio simula un approccio di "scaling up".
• Stadio 2 (Ricostruzione Interpretativa): Una nuova istanza del modello riceve gli output dello Stadio 1, il testo completo dell'articolo citante (Chubin e Moitra) e dei testi citati (Price; Gilbert e Woolgar). Deve generare 5 ipotesi interpretative distinte che complicano la classificazione iniziale, basandosi su:
  1. Controllo delle aspettative rispetto ai testi completi.
  2. Analisi di indizi lessicali e retorici.
  3. Analisi del contesto esteso (ruolo narrativo della nota).
  4. Generazione di ipotesi.

Design Sperimentale (2x3):
Per testare la sensibilità del prompt, l'autore ha variato sistematicamente le istruzioni nello Stadio 2 in un design bilanciato:

• 2 Strutture di Prompt:
  • 4-step: Istruzioni dettagliate che richiedono passaggi intermedi (controllo aspettative, analisi indizi, ecc.).
  • 1-step: Istruzione diretta per generare le 5 ipotesi senza passaggi intermedi.
• 3 Condizioni di "Nudging" (Suggerimento):
  • No-nudge: Nessuna esempio aggiuntivo.
  • Toward: Esempi che suggeriscono letture plausibili per questo caso (es. gestione della genealogia, critica velata, ponti tra audience).
  • Away: Esempi che suggeriscono letture meno plausibili per questo caso (es. critica mascherata da lode eccessiva, funzioni puramente didattiche).

Analisi dei Dati:
Su 90 esecuzioni (15 input di base x 6 configurazioni), sono stati generati 450 coppie di ipotesi-giustificazione.

• Codifica Qualitativa: Lettura attenta e codifica induttiva per identificare 21 "movimenti interpretativi" ricorrenti (es. "Preempt", "Canon", "MuteGW").
• Analisi Quantitativa: Utilizzo di Modelli di Probabilità Lineare (LPM) per stimare come le scelte del prompt (struttura e nudging) spostino la frequenza di questi codici e il lessico utilizzato.

3. Risultati Chiave

• Stabilità Superficiale (RQ1): Lo Stadio 1 è altamente stabile. GPT-5 classifica quasi universalmente la nota come "Supplementare" (Perfunctory o Additional Information), allineandosi con una lettura superficiale e non conflittuale.
• Pluralità Strutturata (RQ2): Lo Stadio 2 genera uno spazio strutturato di interpretazioni. Il modello produce 21 sottotemi ricorrenti che combinano diverse letture (es. gestione della critica, giustificazione pragmatica, costruzione di genealogie). Le ipotesi sono ancorate a dettagli testuali specifici (es. l'uso della parola "reiterated" o la mancata citazione di Price in un punto specifico).
• Sensibilità al Prompt (RQ3): La struttura del prompt e gli esempi influenzano significativamente la distribuzione delle interpretazioni:
  • Il prompt 4-step tende a favorire letture più centrate sulla gestione della genealogia e sull'autorità (es. Canon, UseGW).
  • Il prompt 1-step favorisce letture più pragmatiche e flessibili (es. Pragma, Agile).
  • Il nudge Toward aumenta la probabilità di letture che coinvolgono la priorità di Price, la sordità alla critica di Gilbert & Woolgar (MuteGW) e il ponte tra comunità accademiche.
  • Il nudge Away introduce letture "di bordo" (edge cases) come la funzione didattica (Teach) o l'allineamento alla rivista (SSS), che appaiono solo quando il prompt le suggerisce esplicitamente.
• Confronto con Gilbert (RQ4): Il modello individua gli stessi "cardini testuali" (hinges) di Gilbert (es. la discrepanza tra "introdotto da Price" e "ripetuto da Gilbert & Woolgar" senza citazione). Tuttavia, non arriva mai a formulare una lettura di "rimprovero velato" (admonishment) completa. Invece di vedere una critica, il modello tende a risolvere l'ambiguità come gestione della linea genealogica, posizionamento strategico o normalizzazione del consenso. Il modello "ammorbidisce" il conflitto invece di esacerbarlo.

4. Contributi Principali

1. Cambio di Paradigma (Scaling In): Dimostra che gli LLM possono essere utilizzati non per automatizzare la classificazione su larga scala, ma per ampliare e organizzare lo spazio interpretativo su casi complessi, generando "descrizioni spesse" multiple e contestabili.
2. LLM come Co-analista Guidato: Propone un ruolo per l'LLM come strumento che produce ipotesi plausibili ancorate al testo, lasciando all'analista umano il giudizio finale e la responsabilità argomentativa.
3. Analisi della Sensibilità del Prompt: Dimostra che il "prompting" non è neutrale. La struttura (scaffolding) e gli esempi (nudging) agiscono come leve metodologiche che spostano sistematicamente quali letture vengono foregroundate e quale lessico viene utilizzato.
4. Trasparenza Procedurale: Tradurre il percorso interpretativo di Gilbert in una pipeline di prompt espliciti rende le routine di lettura tacite in componenti ispezionabili, riproducibili e modificabili sperimentalmente.

5. Significato e Implicazioni

Il paper sfida l'idea che l'interpretazione contestuale e il recupero di significati impliciti siano "non delegabili a un computer" (come sostenuto da White, 2004). Sebbene GPT-5 non abbia replicato la lettura specifica di "rimprovero" di Gilbert (forse a causa di bias di allineamento del modello verso risposte non conflittuali), ha dimostrato di poter:

• Eseguire controlli incrociati tra testi.
• Identificare discrepanze testuali.
• Generare un ventaglio di ricostruzioni plausibili che un singolo analista umano potrebbe non considerare.

Limiti: Lo studio si basa su un singolo caso, l'analisi è condotta da un solo ricercatore e il modello (GPT-5) è una "scatola nera" proprietaria.
Conclusione: L'approccio "scaling in" trasforma l'LLM da classificatore automatico a strumento euristico. Il valore non è nella velocità di etichettatura, ma nella capacità di espandere lo spazio delle possibilità interpretative, rendendo visibili le ambiguità e le alternative, a patto che l'analista umano rimanga il curatore critico del processo. La sensibilità ai prompt è sia un rischio (bias di conferma) che una caratteristica (possibilità di esplorare diversi angoli di lettura).