💬 NLP

Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs

Este artículo propone la "calibración de grano", un método que valida a los Grandes Modelos de Lenguaje como instrumentos de medición mediante la descomposición de constructos teóricos en componentes a nivel de cláusula y la aplicación de reglas explícitas, derivadas de la teoría, para asegurar que los modelos midan los constructos previstos en lugar de simplemente correlacionarse con las anotaciones humanas.

Autores originales: Manuel Pita

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Manuel Pita

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran problema: Obtener la respuesta correcta por la razón equivocada

Imagina que estás haciendo un examen. Obtienes todas las respuestas correctas y tu profesor te pone un sobresaliente. Pero más tarde, te das cuenta de que en realidad no entendiste la matemática; simplemente memorizaste un patrón. Por ejemplo, notaste que cada vez que la pregunta incluía la palabra "manzana", la respuesta era "roja". No sabías por qué las manzanas son rojas; solo conocías el patrón.

Este artículo argumenta que los Modelos de Lenguaje de Gran Tamaño (LLM) —las herramientas de IA que usamos para analizar texto— a menudo están haciendo exactamente esto. Cuando una IA coincide con un experto humano en cómo codificar un fragmento de texto (como etiquetar un tuit como "enojado" o "de apoyo"), asumimos que la IA entiende el concepto. Pero el artículo dice: La concordancia no es suficiente. La IA podría estar obteniendo la etiqueta correcta detectando un atajo (una "característica superficial") en lugar de entender realmente la teoría profunda detrás del concepto.

La historia del "Robot en la cueva"

Para explicar esto, el autor cuenta la historia de un robot llamado B9 y un niño que entran en una cueva. Encuentran una inscripción en la pared:

"Tres caminaron el sendero profundo. La piedra se cerró tras ellos donde el agua habla. Su último aliento aún perdura".

El Robot (B9): Escanea las palabras. Ve "muerte", "agua", "piedra" y "aliento". Inmediatamente concluye: "¡Esto es una advertencia! ¡Peligro!" Está reaccionando a las palabras de miedo (características superficiales).
El Niño: Él conoce las reglas de los rituales antiguos. Se da cuenta de que, aunque las palabras tratan sobre la muerte, la intención es diferente. La inscripción no te está diciendo que regreses; te está diciendo que sigas a los muertos hacia su origen. Es una "consagración" (un acto sagrado), no una advertencia.

El robot falló porque miró las palabras en lugar de la relación entre las palabras. No pudo distinguir entre una advertencia y una bendición porque no entendía la teoría detrás del ritual.

Los tres "puntos ciegos" (opacidades)

El artículo dice que las herramientas de codificación de IA actuales tienen tres "puntos ciegos" que ocultan cómo toman sus decisiones:

La definición ciega: A la IA se le da un nombre (como "Cuidado") pero no se le dicen las reglas específicas de qué cuenta como "Cuidado". Simplemente adivina basándose en lo que cree que el "Cuidado" suele parecer.
La evidencia invisible: La IA da una respuesta, pero no muestra qué parte del texto la hizo decidir eso. Es como un juez que dicta una sentencia sin mostrar las pruebas.
La receta secreta: La IA combina diferentes pistas en una respuesta final usando una fórmula secreta que no podemos ver. No sabemos si ignoró una pista crucial o si sobreestimó una mínima.

La solución: "Calibración de Grano" (Grain Calibration)

El autor propone un nuevo método llamado Calibración de Grano. Piensa en esto como tomar una receta compleja y desglosarla en pasos diminutos y comprobables para que puedas ver exactamente cómo se está horneando el pastel.

En lugar de preguntar a la IA: "¿Es este texto 'Cuidado'?", el método la obliga a responder una serie de preguntas específicas y binarias (cláusulas) basadas en la teoría:

Detección: "¿Menciona el texto a un ser que sufre?" (Sí/No)
Distinción: "¿Se trata este sufrimiento como un asunto moral, o solo como un hecho triste?" (Sí/No)
Postura: "¿Toma el escritor una postura moral sobre este sufrimiento?" (Sí/No)

Cómo funciona:

El Humano en el proceso: Un investigador humano establece estas preguntas basadas en la teoría.
La Evidencia: La IA debe señalar la oración exacta en el texto que responde "Sí" o "No" para cada pregunta.
La Regla: Una regla matemática clara y sencilla (como una puntuación ponderada) combina estas respuestas. Por ejemplo: Si (Sufrimiento = Sí) Y (Asunto Moral = Sí) Y (Postura = Sí), ENTONCES es "Cuidado".

Cómo funciona:

El Humano en el proceso: Un investigador humano establece estas preguntas basadas en la teoría.
La Evidencia: La IA debe señalar la oración exacta en el texto que responde "Sí" o "No" para cada pregunta.
La Regla: Una regla matemática clara y sencilla (como una puntuación ponderada) combina estas respuestas. Por ejemplo: Si (Sufrimiento = Sí) Y (Asunto Moral = Sí) Y (Postura = Sí), ENTONCES es "Cuidado".

Por qué esto lo cambia todo

Si la IA obtiene la respuesta correcta usando este método, sabemos por qué la obtuvo.

Si la IA dice "Sí" a "Sufrimiento" pero "No" a "Asunto Moral", y el código final es "No es Cuidado", sabemos que la IA está siguiendo realmente la teoría.
Si la IA obtiene el código final correcto pero la pregunta de "Asunto Moral" es incorrecta, sabemos que la IA está haciendo trampa (usando un atajo).

El artículo llama a esto "Calibración de Grano" porque ajusta el "grano" (el tamaño de las piezas) del análisis hasta que la IA se ve obligada a usar las reglas teóricas, no solo patrones de palabras.

La conclusión fundamental

El artículo concluye que no podemos confiar en una IA solo porque coincida con los humanos. Necesitamos construir un sistema donde la IA tenga que mostrar su trabajo paso a paso.

Antes: "La IA dice que esto es 'Cuidado' porque coincide con el humano". (No sabemos si la IA es inteligente o simplemente tiene suerte).
Después (Calibración de Grano): "La IA dice que esto es 'Cuidado' porque encontró a una persona que sufre, identificó que es un asunto moral y tomó una postura". (Sabemos que la IA está midiendo realmente el concepto que nos importa).

El objetivo no es hacer que la IA sea más inteligente; es hacer que su proceso sea transparente para que podamos estar seguros de que está midiendo lo que realmente queremos medir.

Resumen Técnico: ¿Códigos Correctos por Razones Equivocadas? Validando los LLM como Instrumentos de Medición para Constructos Teóricos

Planteamiento del Problema
El artículo aborda una brecha crítica en el uso de Modelos de Lenguaje de Gran Escala (LLM) como instrumentos de codificación en las ciencias sociales y del comportamiento. Si bien los LLM frecuentemente logran altos índices de acuerdo (fiabilidad) con anotadores humanos en tareas de codificación de texto, este acuerdo no garantiza la validez de constructo. El problema central es que los LLM pueden producir códigos correctos por las "razones equivocadas". En lugar de inferir un constructo basado en su definición teórica (la red nomológica), un instrumento ingenuo respecto a la teoría puede depender de rasgos superficiales (por ejemplo, patrones de palabras específicos, valencia de sentimiento o claves oblicuas) que simplemente correlacionan con el constructo.

El artículo identifica tres opacidades acumulativas que impiden a los investigadores verificar si un LLM está midiendo realmente un constructo teórico:

Opacidad Definicional: Los componentes teóricos del constructo no están externalizados; el LLM solo recibe el nombre del constructo y depende de sus asociaciones internas.
Opacidad Inferencial: El instrumento no reporta qué evidencia textual específica respalda cada componente del constructo.
Opacidad Composicional: La regla que combina las puntuaciones de los componentes en un código final es implícita dentro del paso generativo del modelo, lo que hace imposible auditar cómo se alcanzó la decisión final.

En consecuencia, los métodos de validación actuales, que dependen de métricas de acuerdo (por ejemplo, F1, $\kappa$ de Cohen) contra una verdad fundamental humana, no logran distinguir entre una medición genuina y la explotación de correlaciones espurias.

Metodología: Calibración de Grano (Grain Calibration)
El artículo propone la calibración de grano, un procedimiento iterativo diseñado para cerrar la brecha entre la competencia distributiva (lo que los LLM pueden inferir de las asociaciones de palabras) y la estructura teórica (lo que un constructo requiere). El método opera bajo la premisa de que un constructo debe descomponerse en unidades independientemente testeables antes de generar el código final.

El procedimiento involucra tres pasos arquitectónicos:

Descomposición en Cláusulas: El constructo teórico se desglosa en sus componentes constitutivos según su red nomológica. Cada componente se divide además en cláusulas —preguntas binarias sobre lo que el texto debe mostrar (por ejemplo, "¿El texto hace referencia al sufrimiento?" frente a "¿Se trata el sufrimiento como algo moralmente relevante?").
Fundamentación Extractiva: Cada cláusula se prueba contra el texto de entrada para producir una puntuación acompañada de un segmento extractivo (un segmento de texto específico) que justifica la puntuación. Esto cierra la opacidad inferencial al proporcionar evidencia auditable para cada componente.
Regla de Integración Explícita: Las puntuaciones de las cláusulas se combinan en un código final utilizando una regla declarada y explícita (por ejemplo, una regresión logística regularizada o una regla lineal) en lugar de un paso generativo opaco. Esta regla se ajusta a los códigos humanos como verdad fundamental, pero los pesos se interpretan frente a la teoría, no solo para maximizar el acuerdo.

Contribuciones Clave

Diagnóstico de la Ingenuidad Teórica: El artículo establece que el acuerdo es una medida de fiabilidad, no de validez. Demuestra que los LLM pueden coincidir con los códigos humanos siguiendo atajos (correlatos superficiales) que fallan al abordar las relaciones teóricas que definen el constructo.
Operacionalización de la Validez Sustantiva: Basándose en el marco de Messick, el artículo operacionaliza el "aspecto sustantivo" de la validez de constructo. Argumenta que la validez no se gana mediante la puntuación de salida, sino mediante la evidencia de que el proceso del instrumento atraviesa la red teórica del constructo.
El Marco de Calibración de Grano: El artículo introduce una arquitectura específica y repetible (Descomposición $\rightarrow$ Pruebas a nivel de cláusula $\rightarrow$ Integración explícita) que transforma una tarea de codificación de caja negra en un proceso transparente y auditable.
Distinción entre Construcción y Validación: El artículo postula que la construcción y la validación son actos simultáneos en este marco. La misma descomposición que construye el instrumento es la que hace que su validez sea inspeccionable.

Resultados y Reivindicaciones
El artículo no presenta nuevos datos empíricos ni un caso de estudio con resultados novedosos; más bien, sintetiza la literatura existente para demostrar los modos de fallo de las prácticas actuales de codificación por LLM (por ejemplo, el experimento mental del "robot en la cueva", errores en la codificación de fundamentos morales y detección de postura).

La afirmación principal es que la calibración de grano es el procedimiento necesario para distinguir la medición válida de la correlación espuria. El artículo sostiene que:

Un instrumento que cierra las tres opacidades expone los componentes, la evidencia y la regla de integración.
Los "pesos" de la regla de integración sirven como herramienta de diagnóstico. Si un peso asignado a una cláusula teóricamente esencial es cercano a cero, o si una sola cláusula de rasgos superficiales domina la decisión, el instrumento es ingenuo respecto a la teoría.
El método permite iterar: si los pesos o los residuos (la brecha entre el prompt opaco y la descomposición explícita) indican un desajuste con la teoría, el investigador puede revisar las cláusulas o la descomposición hasta que el comportamiento del instrumento se alinee con las demandas teóricas del constructo.

Significancia
El artículo reclama una significancia modesta pero fundacional. No propone una nueva teoría del significado ni afirma que los LLM posean o carezcan de comprensión. En cambio, aborda un punto ciego metodológico: el campo ha aceptado la fiabilidad (acuerdo) como un sustituto de la validez porque faltaba un procedimiento para probar el proceso de codificación.

Al proporcionar un mecanismo para auditar la ruta inferencial, la calibración de grano permite al campo preguntar no solo "¿El LLM está de acuerdo con el humano?", sino "¿El LLM está de acuerdo con el humano por las razones que especifica el constructo?". El artículo concluye que este procedimiento define el límite de los problemas de codificación resolubles, distinguiendo entre constructos que pueden ser validadamente operacionalizados mediante este método y aquellos que no pueden (por ejemplo, constructos generados puramente a partir de datos sin una red teórica previa). Posiciona el "aspecto sustantivo" de la validez como la pieza faltante en el panorama actual de la evaluación de los LLM.