Scaling In, Not Up? Testing Thick Citation Context Analysis with GPT-5 and Fragile Prompts

1. El Problema de Investigación

El Análisis de Contexto de Citas (CCA, por sus siglas en inglés) ha sido tradicionalmente un esfuerzo de "escalado hacia arriba" (scaling up): crear esquemas de clasificación tipológicos exhaustivos para automatizar la etiquetación de grandes corpus de citas. Sin embargo, esta aproximación enfrenta críticas fundamentales (ej. Gilbert, 1977) basadas en la naturaleza persuasiva, ambigua y contextual del acto de citar. La interpretación de una cita a menudo requiere una "descripción densa" (thick description) que depende del conocimiento del dominio, la audiencia y las dinámicas sociales, lo cual es difícil de capturar mediante etiquetas estables.

El problema central es si los Modelos de Lenguaje Grandes (LLMs) pueden utilizarse no para automatizar la clasificación masiva (escalado hacia arriba), sino para escalar hacia adentro (scaling in): profundizar en la interpretación de un solo caso difícil, generando un espacio estructurado de lecturas interpretativas plausibles y contestables, en lugar de buscar una única etiqueta "correcta".

2. Metodología

El estudio utiliza un diseño experimental riguroso para probar si un LLM puede actuar como un "co-analista guiado" en un caso de referencia canónico y difícil: la nota al pie 6 de Chubin y Moitra (1975), analizada previamente por Gilbert (1977).

• Caso de Estudio: La nota al pie 6, que parece una atribución rutinaria pero que Gilbert interpreta como una posible "amonestación velada" por no citar adecuadamente a un autor previo (Price) en un momento definitorio.
• Modelo: Se utilizó GPT-5 (configuración de alto razonamiento) a través de la API de OpenAI.
• Pipeline de Dos Etapas:
  1. Etapa 1 (Superficie): Clasificación tipológica basada solo en el texto de la cita (usando las categorías de Chubin y Moitra) y formulación de expectativas sobre el contenido de las obras citadas.
  2. Etapa 2 (Reconstrucción Interpretativa): El modelo recibe los textos completos (citant y citados) y debe realizar una reconstrucción interpretativa profunda, generando múltiples hipótesis distintas.
• Diseño Experimental (2x3): Se variaron sistemáticamente los prompts en la Etapa 2 para probar la sensibilidad del modelo:
  • Estructura Base (2 niveles):
    • 4 pasos: Instrucciones explícitas para verificar expectativas, analizar pistas léxicas, analizar contexto extendido y luego generar hipótesis.
    • 1 paso: Instrucción directa para generar 5 hipótesis sin pasos intermedios explícitos.
  • Nudges o Empujones (3 niveles):
    • Sin empuje (No-nudge): Sin ejemplos adicionales.
    • Hacia el caso (Toward): Ejemplos que sugieren lecturas de linaje, crítica mutada o puentes entre audiencias (más plausibles para este caso).
    • Lejos del caso (Away): Ejemplos que sugieren lecturas menos plausibles (ej. burla disfrazada, funciones didácticas puras).
• Ejecución: Se realizaron 90 ejecuciones totales (15 salidas de la Etapa 1 × 6 configuraciones de la Etapa 2), generando 450 pares de hipótesis-justificación.
• Análisis de Datos:
  • Cualitativo: Lectura cercana e inducción para desarrollar 21 códigos binarios que capturan movimientos interpretativos recurrentes (ej. "Preempt", "Canon", "Bridge").
  • Cuantitativo: Modelos de Probabilidad Lineal (LPM) para estimar cómo las variaciones en el prompt (estructura y empujes) desplazan la frecuencia de estos códigos y el vocabulario utilizado.

3. Contribuciones Clave

1. Marco "Scaling-in": Propone un cambio de paradigma en el uso de LLMs para ciencias sociales: de la clasificación automatizada masiva a la generación asistida de pluralidad interpretativa en casos complejos.
2. Pipeline Reproducible: Traduce el proceso de reconstrucción interpretativa de Gilbert (que era tácito y basado en la intuición experta) en un flujo de trabajo explícito, verificable y experimentalmente variable.
3. Análisis de Sensibilidad a Prompts: Demuestra empíricamente que la estructura del prompt y los ejemplos (nudges) no son neutrales; actúan como palancas metodológicas que redistribuyen sistemáticamente qué lecturas plausibles el modelo prioriza y qué vocabulario utiliza.
4. Co-análisis Guiado: Posiciona al LLM no como un oráculo de verdad, sino como una herramienta para expandir el espacio de posibilidades interpretativas, dejando la responsabilidad final de la curaduría y el juicio al investigador humano.

4. Resultados Principales

• Estabilidad en la Superficie (RQ1): En la Etapa 1, GPT-5 clasificó consistentemente la cita como "Suplementaria" (Perfunctory o Información Adicional), mostrando una alta estabilidad en el modo de clasificación tradicional, similar a lo que haría un clasificador automatizado estándar.
• Pluralidad Interpretativa (RQ2): En la Etapa 2, el modelo generó un espacio estructurado de 21 movimientos interpretativos distintos. Las hipótesis no fueron aleatorias; estaban ancladas en evidencias textuales (ej. el uso de la palabra "reiterated", la omisión de citas en momentos definitorios) y cubrieron un espectro desde lecturas cercanas a Gilbert hasta propuestas más arriesgadas.
• Sesgo del Prompt (RQ3):
  • La estructura de 4 pasos favoreció lecturas de "linaje" y "gestión de autoridad" (ej. Canon, UseGW), haciendo que el modelo se centrara más en la jerarquía de autores.
  • La estructura de 1 paso favoreció lecturas más pragmáticas y flexibles (Agile, Pragma).
  • El nudge "Toward" aumentó significativamente la probabilidad de lecturas sobre linaje intelectual (PrioP) y crítica mutada (MuteGW).
  • El nudge "Away" introdujo lecturas didácticas (Teach) que no aparecían en otras condiciones, demostrando que los ejemplos en el prompt pueden "sembrar" narrativas específicas.
• Divergencia con Gilbert (RQ4): Aunque GPT-5 detectó las mismas "bisagras" textuales que Gilbert (la omisión de Price en la definición), nunca reprodujo la lectura de "amonestación" (admonishment) completa. En su lugar, resolvió las tensiones hacia lecturas de "gestión de linaje" o "alineación estratégica". Esto sugiere un sesgo del modelo hacia la cooperación y la no confrontación, o una falta de disposición a interpretar la ambigüedad como conflicto abierto sin instrucciones explícitas.

5. Significado e Implicaciones

• Reevaluación de la Automatización: El estudio desafía la noción de que la interpretación profunda y la recuperación de significados implícitos son "imposibles" para las computadoras. Los LLMs pueden realizar tareas procedimentales complejas (verificación cruzada de textos, generación de hipótesis) que antes requerían familiaridad experta.
• El Rol del Investigador: El valor de la automatización no es la velocidad de etiquetado, sino la capacidad de generar, contrastar y justificar múltiples lecturas plausibles que un solo investigador podría pasar por alto debido a la fatiga o a la ceguera de rutina.
• Riesgos y Ética: La sensibilidad a los prompts es un riesgo metodológico (puede amplificar los sesgos del investigador) pero también una característica útil si se gestiona conscientemente. La elección del modelo, sus ajustes de alineación y el diseño del prompt deben ser parte integral del diseño metodológico, no condiciones de fondo invisibles.
• Futuro del CCA: Se abre la puerta a un enfoque colaborativo donde el LLM actúa como un "sparring" (contrincante de entrenamiento) o co-analista que expande el espacio de posibilidades, mientras el humano actúa como curador y crítico final.

En conclusión, el paper demuestra que es posible "escalar hacia adentro" la interpretación de citas utilizando LLMs, transformando la ambigüedad interpretativa de un problema a resolver en un objeto de estudio estructurado y ampliado.