💬 NLP

LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science

Este artículo presenta un marco rigurosamente validado mediante la optimización de prompts basada en la teoría y el análisis de fiabilidad de múltiples evaluadores para permitir que tres LLM de vanguardia detecten de manera fiable distinciones de postura matizadas entre el realismo y el instrumentalismo en la ciencia cognitiva bayesiana, escalando con éxito la codificación cualitativa a un corpus extenso y cuantificando una diferencia significativa en el realismo entre la investigación de la percepción de bajo nivel y la de la cognición de alto nivel.

Autores originales: Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

Publicado 2026-06-16

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de comprender una biblioteca masiva de libros científicos sobre cómo funciona la mente humana. Específicamente, quieres saber: ¿Creen los autores que estos modelos matemáticos describen realmente cómo funcionan físicamente nuestros cerebros (Realismo), o son solo herramientas útiles para hacer predicciones, como un mapa que no es el territorio mismo (Instrumentalismo)?

Esta es una pregunta difícil. Los autores rara vez dicen: "Soy realista". En su lugar, esconden sus verdaderas creencias en matices sutiles, lenguaje cauteloso y frases complejas. Tradicionalmente, para responder a esto, necesitarías un equipo de expertos humanos que lean cada frase, adivinen la intención del autor y la escriban. Esto es lento, costoso y difícil de escalar.

Este artículo plantea: ¿Podemos usar IA avanzada (Modelos de Lenguaje Extensos) para que hagan este trabajo por nosotros?

Aquí está la historia de cómo lo intentaron, utilizando algunas analogías creativas para hacerlo claro.

1. El Problema: El rompecabezas del "Significado Oculto"

Piensa en la postura de los autores como una receta secreta. Puedes probar el plato (leer el texto), pero los ingredientes (la verdadera creencia del autor) no aparecen listados en el menú.

El Desafío: Si solo le preguntas a una IA: "¿Es realista o instrumentalista?", la IA podría volverse perezosa. Podría adivinar la respuesta más común o elegir la opción intermedia cada vez para parecer segura. Podría estar de acuerdo con otras IA solo porque todas están siguiendo el mismo atajo perezoso, no porque realmente hayan comprendido el texto.
El Objetivo: Los investigadores querían construir un sistema de IA que pudiera probar el plato, identificar los ingredientes específicos y decirte exactamente qué tan "realista" o "instrumentalista" es la receta, sin hacer trampa.

2. La Solución: El "Entrenador Inteligente" y el "Libro de Reglas Compartido"

En lugar de simplemente pedirle a la IA que adivine, los investigadores construyeron un sistema de entrenamiento riguroso con tres partes principales:

A. El Libro de Reglas (El Código)

No solo le dieron a la IA una instrucción vaga. Escribieron un manual de instrucciones detallado (un libro de códigos).

Imagina la tarjeta de puntuación de un juez para una competencia de clavados. No dice simplemente "Buen clavado". Tiene categorías específicas: "Entrada", "Giro", "Salpicadura".
Este manual definía exactamente qué palabras o frases contaban como "Realistas" y qué contaba como "Instrumentalistas". Incluso proporcionaba una escala del 0 al 100, permitiendo matices (por ejemplo, "mayormente realista pero con algo de duda").

B. El "Entrenador Inteligente" (Bucle de Auto-investigación)

Esta es la parte más creativa. Los investigadores no se limitaron a escribir un prompt y esperar lo mejor. Utilizaron un agente de IA como un entrenador para entrenar a las otras IA.

El Proceso: El entrenador (una IA) propondría una nueva forma de hacer la pregunta (un nuevo prompt). Probaría esto en un pequeño conjunto de ejemplos calificados por expertos.
La Trampa: A veces, la IA encontraba un "truco para hacer trampa". Por ejemplo, podía darse cuenta de que si elegía la puntuación media cada vez, obtenía una puntuación de "acuerdo" alta con los expertos.
Los Limitadores: Para evitar esto, los investigadores instalaron puertas de diagnóstico (como un árbitro con un silbato).
- Puerta 1: "¿Utilizó la IA toda la escala, o simplemente eligió el medio?"
- Puerta 2: "¿Memorizó la IA las respuestas en lugar de aprender las reglas?"
- Si la IA intentaba hacer trampa, el entrenador rechazaba el prompt e intentaba de nuevo. Esto sucedía una y otra vez hasta que la IA aprendía a jugar de forma justa.

C. El "Libro de Reglas Compartido" (Un solo Prompt para todos)

Probaron tres modelos de IA de alto nivel diferentes (GPT, Claude y Gemini). En lugar de enseñar a cada uno un truco diferente, los obligaron a usar el mismo manual de instrucciones exacto.

¿Por qué? Si las tres IA diferentes, usando las mismas reglas, llegan a la misma conclusión, sabes que la respuesta es sólida. Es como tener tres jueces diferentes en una competencia de clavados; si todos dan la misma puntuación, confías en el resultado.

3. Los Resultados: ¿Qué Encontraron?

Después de entrenar a las IA con este sistema estricto, las dejaron trabajar sobre 6,858 citas de 210 artículos científicos.

El Acuerdo: Las tres IA coincidieron muy bien entre sí.
- A nivel de oración: Acordaron el 76% de las veces. Esto es bueno, pero no perfecto. A veces, una oración es simplemente ambigua, e incluso los humanos estarían en desacuerdo.
- A nivel de artículo: Cuando miraron el artículo completo (promediando las oraciones), el acuerdo se disparó al 96–97%.
- Analogía: Imagina a tres personas tratando de adivinar la altura de una multitud. Pueden discrepar sobre la altura de una persona específica, pero si todos coinciden en la altura promedio de la multitud, son muy confiables. Las IA fueron excelentes para ver el "panorama general" de cada artículo.
El Descubrimiento: Las IA encontraron algo interesante que los investigadores ya sospechaban desde hace años, pero que nunca habían probado con datos:
- Los investigadores de bajo nivel (que estudian los sentidos y el movimiento) tienden a creer mucho más fuertemente que los modelos describen mecanismos cerebrales reales.
- Los investigadores de alto nivel (que estudian el pensamiento complejo) son más escépticos y ven los modelos solo como herramientas.
- La IA cuantificó esta diferencia: los artículos de bajo nivel fueron 8.8 puntos más altos en la escala de "Realismo" que los de alto nivel.

4. La Conclusión

Este artículo no dice "la IA puede ahora reemplazar a los científicos humanos". En cambio, dice:

"Si le das a la IA un libro de reglas muy claro y detallado y un árbitro estricto para evitar que haga trampa, la IA puede ayudarnos a analizar enormes cantidades de texto para encontrar patrones que son demasiado sutiles para que los humanos los rastreen manualmente".

Lograron convertir una pregunta filosófica vaga ("¿Creen en el modelo?") en un dato medible y confiable. Demostraron que, con las salvaguardas adecuadas, la IA puede ser un socio poderoso para comprender las creencias ocultas de la comunidad científica.

Resumen Técnico: Detección de Postura Asistida por LLM en el Discurso Científico

Planteamiento del Problema
La codificación cualitativa es fundamental para las ciencias sociales, pero enfrenta límites de escalabilidad debido a la dificultad de la anotación experta, particularmente cuando el constructo objetivo es interpretativo, posee una carga teórica y se expresa solo de forma indirecta. Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen una solución potencial, su fiabilidad es cuestionable cuando el constructo no se manifiesta superficialmente en frases específicas. Este artículo aborda el desafío de detectar las posturas de los autores en la ciencia cognitiva bayesiana con respecto a la distinción realismo–instrumentalismo: si los autores tratan los modelos bayesianos como descripciones de mecanismos mentales/neurales reales (realismo) o como herramientas matemáticas útiles (instrumentalismo). Estas distinciones suelen ser matizadas, filosóficamente profundas y dependientes del dominio, lo que las hace difíciles de clasificar para sistemas automatizados sin recurrir a atajos superficiales.

Metodología
El estudio emplea un marco de investigación autónoma con puertas de diagnóstico liderado por expertos para optimizar un único prompt compartido para tres LLM de frontera heterogéneos (GPT-5.1, Claude Sonnet 4.6 y Gemini 3 Pro Preview).

Diseño del Libro de Códigos: Un libro de códigos basado en la teoría define puntuaciones complementarias de Realismo e Instrumentalismo, las cuales están constreñidas a sumar 100. Cada puntuación utiliza una escala ordinal de siete bandas (que va desde el Anti-Realismo hasta el Realismo Fuerte) con desplazaciones continuas dentro de la banda (punto medio ±4 o ±8). El libro de códigos incluye definiciones semánticas y etiquetas de criterios lingüísticos (Sujeto, Objetivo de la Afirmación, Modalidad, Vínculo de Evidencia) para permitir la validación automatizada.
Anotaciones de Referencia: Un experto en la materia extrajo 251 citas portadoras de supuestos de 15 artículos, las anotó utilizando el libro de códigos y las particionó en conjuntos de ajuste (151), desarrollo (50) y de control (50).
Optimización de Prompts de Investigación Autónoma: Un agente automatizado (implementado en Claude Code) propuso iterativamente modificaciones de los prompts. Una edición candidata solo se aceptaba si mejoraba una métrica de fiabilidad combinada (media armónica de ICC y $\alpha$ $α$ de Krippendorff) y superaba cuatro puertas de diagnóstico:
- Métrica Combinada: Debe mejorar la puntuación de la media armónica.
- Fuera del Punto Medio (Off-Midpoint): Previene el "colapso al punto medio" donde los modelos asignan todas las citas al punto medio de la banda sin utilizar la escala continua.
- ICC de Residuo Dentro de la Banda: Asegura que el acuerdo continuo no se degrade significamente.
- Coherencia Persistente: Limita las violaciones del esquema estructural.
- Eliminación de Filtraciones (De-leaking): Un paso crítico que eliminó pistas que inadvertidamente especificaban las frecuencias de banda esperadas o las bandas por defecto, evitando que el modelo "anticipe" la respuesta.
Despliegue y Análisis: El prompt final de disparo cero (zero-shot) se desplegó en 6,858 citas de 210 artículos. La fiabilidad se evaluó mediante el acuerdo entre múltiples evaluadores (ICC, $\alpha$ , $\kappa$ de Fleiss) y la estabilidad de rango a nivel de artículo (correlaciones de los interceptos aleatorios por artículo de modelos lineales de efectos mixtos).

Resultados Clave

Rendimiento del Prompt: El prompt final alcanzó una puntuación de fiabilidad combinada en el conjunto de control de 0.76 (media armónica de ICC = 0.79 y $\alpha$ = 0.74). Las puertas de diagnóstico evitaron con éxito que los modelos colapsaran hacia los puntos medios de las bandas, forzando el uso genuino de la escala dentro de la banda.
Acuerdo Inter-Modelo: En el corpus completo, los tres LLM alcanzaron un acuerdo sustancial a nivel de cita (Combinado = 0.78; ICC = 0.80; $\alpha$ = 0.76). El acuerdo exacto por pares fue del 78.4%, con un 88.4% de las comparaciones cayendo dentro de una banda adyacente.
Calibración vs. Convergencia: Aunque los modelos mostraron cambios sistemáticos de calibración (por ejemplo, Claude tendía hacia el Realismo-Escéptico, Gemini hacia el Realismo Fuerte), lograron una estabilidad de rango a nivel de artículo casi perfecta ( $r = 0.96–0.97$ ). Esto indica que, si bien las clasificaciones individuales de las citas variaron, los modelos convergieron en el orden relativo de los artículos.
Hallazgos Sustantivos:
- El corpus fue predominantemente Débilmente Realista (67.9% de las citas), pero los artículos rara vez fueron uniformes; solo el 1.4% utilizó una sola banda, mientras que el 59.5% abarcó cuatro o más.
- Se cuantificó una diferencia estructural significativa: los artículos de percepción de bajo nivel/motora puntuaron 8.8 puntos de Realismo más alto que los artículos de cognición de alto nivel ( $p < .001, d=0.60$ ), validando empíricamente una intuición cualitativa de larga data en el campo.

Significancia y Reivindicaciones
Este trabajo posiciona la investigación como un caso de estudio que demuestra que los LLM de frontera pueden apoyar la codificación cualitativa teóricamente exigente cuando el constructo se operacionaliza a través de un libro de códigos auditable y se valida contra referencias expertas.

Contribución Metodológica: Los autores presentan un marco para la optimización de prompts consciente del diagnóstico que trata al prompt como un protocolo de anotación común para modelos heterogéneos. Este enfoque prioriza la convergencia bajo instrucciones compartidas sobre el ajuste por modelo individual.
Granularidad del Análisis: El estudio destaca que las métricas de acuerdo deben coincidir con el grano de la inferencia posterior. Si bien el acuerdo a nivel de cita fue sustancial, la estabilidad de rango a nivel de artículo fue casi perfecta, lo que sugiere que el análisis de nivel agregado puede recuperar señales oscurecidas por el ruido a nivel de ítem.
Limitaciones y Alcance: Los autores declaran explícitamente que el marco está destinado a generalizarse a tareas similares de alta exigencia teórica, no a todo el análisis cualitativo. Reconocen limitaciones, incluyendo el uso de un conjunto de referencia de un solo experto (que impide la estimación de la fiabilidad humano-humano), el enfoque de dominio específico (ciencia cognitiva bayesiana) y el potencial de sesgos compartidos en los datos de entrenamiento de los LLM. El trabajo no pretende reemplazar el juicio experto, sino extenderlo, apoyándose en la supervisión liderada por expertos para detectar modos de falla (como pistas circulares) que las métricas automatizadas podrían pasar por alto.