💬 NLP

Validity of LLMs as data annotators: AMALIA on authority

Este artículo demuestra que, si bien el modelo de lenguaje nacional de Portugal AMALIA logra una alta concordancia con los codificadores humanos en la base moral de la autoridad, carece de validez de constructo debido a que se basa en atajos superficiales en lugar de un razonamiento teórico, lo que resalta la necesidad de bancos de pruebas de modelos de lenguaje nacionales para evaluar la base de evidencia del rendimiento del modelo más allá de la mera concordancia.

Autores originales: Manuel Pita

Publicado 2026-07-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Manuel Pita

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un nuevo robot superinteligente llamado AMALIA. Es el propio robot de lenguaje de Portugal, creado con dinero público para entender y hablar el portugués europeo mejor que nadie. La gran esperanza era que AMALIA pudiera actuar como un asistente humano superrápido y superbarato para los investigadores. Específicamente, los científicos querían usarlo para leer miles de publicaciones en redes sociales y determinar si la gente estaba hablando de "Autoridad"—una idea complicada que no se trata solo de la palabra "jefe" o "policía", sino de si alguien está respetando o desafiando las reglas de la jerarquía.

Aquí está el giro: AMALIA es excelente adivinando la respuesta correcta, pero es terrible mostrando su trabajo.

El problema del "Resultado correcto, razón equivocada"

Piensa en AMALIA como un estudiante haciendo un examen de matemáticas.

El Objetivo: El profesor pregunta: "Resuelve X usando esta fórmula específica".
El Resultado: AMALIA escribe el número correcto para X.
El Problema: Cuando el profesor le pide: "Muéstrame tus pasos", AMALIA no puede. En lugar de usar la fórmula, simplemente adivinó la respuesta porque vio un patrón, como: "Oh, la palabra 'jefe' está en la frase, así que la respuesta debe ser 'Autoridad'".

En el mundo real, esto es peligroso. Si un robot está de acuerdo con los expertos humanos el 90% de las veces, solemos decir: "¡Genial! ¡Podemos confiar en él!". Pero este artículo argumenta que para AMALIA, ese acuerdo es un engaño. Es como un loro que aprende a decir "Te amo" cada vez que ve a un humano sonreír. El loro no está sintiendo amor; solo está asociando la sonrisa con la frase. AMALIA estaba asociando pistas superficiales (como ver a un oficial de policía o escuchar a alguien enojado) con la etiqueta "Autoridad", en lugar de entender realmente la compleja teoría del poder y el respeto que los investigadores intentaban medir.

La prueba de la "Caja Negra"

Para demostrar esto, los investigadores no solo le hicieron a AMALIA la gran pregunta. Dividieron la pregunta en piezas diminutas y simples, como un detective descomponiendo un caso en pistas.

La Gran Pregunta: "¿Trata este texto sobre Autoridad?"
Las Pistas Diminutas: "¿Menciona a un líder?" "¿Juzga ese texto el comportamiento de ese líder?" "¿Habla de la tradición?"

Si AMALIA realmente entendiera el concepto, debería obtener el mismo resultado ya sea que se le pregunte la gran pregunta o las pistas diminutas. Pero no fue así.

Cuando se le preguntó la gran pregunta, AMALIA estuvo de acuerdo con los expertos humanos el 71% de las veces.
Cuando se le preguntaron las pistas diminutas y se le obligó a unir las piezas, su acuerdo cayó a solo el 36%.

Esta enorme caída se llama "brecha de recuperación". Es como un mago sacando un conejo de un sombrero. Si preguntas "¿Dónde está el conejo?" y el mago señala el sombrero, eso está bien. Pero si preguntas "Muéstrame el conejo dentro del sombrero", y el sombrero está vacío, te das cuenta de que el mago solo estaba usando un truco. El artículo encontró que el "truco" de AMALIA era depender de atajos superficiales, como ver "indignación moral" cerca de una persona poderosa y asumir que se trata de autoridad, incluso cuando no lo es.

La comparación con el "Robot más grande"

Los investigadores no solo probaron a AMALIA; también probaron a otros dos robots: Llama (uno de tamaño medio) y GPT-OSS (un gigante de 120 mil millones de parámetros, comparado con los 9 mil millones de AMALIA).

El Robot Gigante (GPT-OSS): Cuando se le hicieron las mismas preguntas complicadas en portugués, no tuvo una brecha. Obtuvo la respuesta correcta y además pudo mostrar su trabajo. Entendía la teoría.
El Robot de Tamaño Medio (Llama): Tenía una brecha pequeña, pero estaba mejorando.
AMALIA: Tenía una brecha masiva.

Esto demuestra que el problema no era el idioma portugués ni los textos específicos utilizados. El problema era el tamaño y el entrenamiento del modelo. El artículo sugiere que AMALIA es simplemente demasiado pequeño para manejar el "grano" complejo de la teoría. Es como intentar construir un rascacielos con un martillo diseñado para una casita de pájaros; la herramienta simplemente no es lo suficientemente grande para hacer el trabajo, aunque parezca que está funcionando.

Lo que esto significa para los robots nacionales

El artículo descarta explícitamente algunas ideas populares:

No se trata del idioma: Aunque AMALIA es el robot "nativo" de Portugal, no funcionó mejor que los grandes robots internacionales. De hecho, los robots grandes estuvieron de acuerdo con los humanos más que AMALIA.
El acuerdo no es suficiente: El hecho de que un robot esté de acuerdo con los humanos no significa que esté midiendo lo que debe. Podría estar simplemente asociando patrones.
No es un fallo de los creadores del modelo: El artículo elogia a AMALIA por ser abierto y transparente. El problema es que el "estándar de oro" actual para probar robots (solo verificar si coinciden con los humanos) es defectuoso.

La conclusión fundamental

Entonces, ¿es AMALIA inútil? ¡Para nada! El artículo dice que AMALIA es excelente para el cribado y la precodificación. Puede leer una enorme pila de texto y decir: "Oye, esto parece interesante, los humanos deberían mirar esto". Es un gran primer filtro.

Pero, ¿puede medir ideas complejas como la "Autoridad" por sí solo? No. Todavía no.
El artículo concluye que, antes de confiar en que un robot nacional mida lo que nuestros ciudadanos piensan y valoran, necesitamos hacer una pregunta diferente. No debemos preguntar simplemente, "¿Estás de acuerdo con los humanos?". Necesitamos preguntar: "¿Puedes mostrarme tu trabajo?".

Hasta que AMALIA (o cualquier modelo nacional pequeño) pueda mostrar su trabajo y demostrar que está usando la lógica correcta y no solo adivinando basándose en pistas superficiales, no está listo para ser el juez final. El artículo sugiere que, por ahora, AMALIA es un asistente útil, pero no es el jefe de los datos.

Resumen Técnico: Validez de los LLM como Anotadores de Datos

Planteamiento del Problema
El artículo aborda una brecha crítica en la evaluación de los Modelos de Lenguaje de Gran Escala (LLM) como anotadores de datos para la investigación en ciencias sociales. Mientras que los LLM nacionales "soberanos" (como el portugués AMALIA) se despliegan cada vez más para analizar textos locales, su evaluación se ha basado históricamente en la fiabilidad (acuerdo con codificadores humanos) en lugar de la validez de constructo (fidelidad a la definición teórica del constructo que se mide).

El problema central es que un alto acuerdo entre un LLM y los anotadores humanos no garantiza que el modelo esté midiendo el constructo teórico pretendido. En su lugar, el modelo puede estar logrando el acuerdo a través de "correlatos superficiales" o atajos (por ejemplo, detectando la indignación moral cerca de una figura de autoridad en lugar de la postura específica sobre la jerarquía requerida por la teoría). Debido a que los LLM son cajas negras, las métricas de acuerdo estándar no pueden distinguir entre una inferencia genuina y una correlación espuria. Esto es particularmente urgente para los modelos soberanos, donde la suposición es que un modelo entrenado con datos y lenguaje locales servirá naturalmente como un instrumento de medición superior para esa comunidad.

Metodología
El estudio emplea un método de calibración de grano para sondear la ruta inferencial del LLM, yendo más allá del acuerdo holístico para probar la validez del instrumento de medición.

Constructo y Corpus: El estudio se centra en el fundamento moral de "autoridad/subversión" de la Teoría de los Fundamentos Morales. El conjunto de datos consta de 748 textos del Moral Foundations Reddit Corpus (MFRC), transcreados al portugués europeo (pt-PT) mediante un riguroso proceso de "transcreación". Este proceso asegura que se preserven el significado, la postura y los referentes, adaptando al mismo tiempo el modismo y el registro, con generación ciega y adjudicación humana para evitar la filtración de códigos (code leakage).
Modelos: El sujeto principal es AMALIA-9B, un modelo de 9 mil millones de parámetros para el portugués europeo. Se compara con dos modelos multilingües de pesos abiertos más grandes: Llama-3.3-70B y GPT-OSS-120B.
La Brecha de Recuperación ( $\Delta$ ): La métrica central es la "brecha de recuperación", definida como $\Delta = F^u_1 - F^d_1$ $Δ = F_{1}^{u} - F_{1}^{d}$ .
- $F^u_1$ : Rendimiento (puntuación F1) del prompt no descompuesto (instrucción holística).
- $F^d_1$ : Rendimiento del prompt descompuesto, donde el constructo se desglosa en cláusulas atómicas (detección, distinción, valoración) y se recombina mediante una regla de integración booleana estricta derivada de la teoría.
- Un $\Delta \approx 0$ indica que el modelo mide el constructo tal como lo define la teoría. Un $\Delta$ grande indica que el modelo depende de atajos no especificados por la teoría.
Diseño Experimental: El estudio pone a prueba a AMALIA bajo instrucciones tanto en inglés como en portugués sobre el corpus en portugués. Compara estos resultados con los modelos de referencia en el mismo corpus y con los resultados de los modelos de referencia en el corpus original en inglés. El estudio está preregistrado, con hipótesis fijadas antes de realizar las pruebas confirmatorias en un conjunto de datos no utilizado de 448 textos.

Resultados Clave

Alta Fiabilidad, Baja Validez para AMALIA: AMALIA logra un alto acuerdo con los anotadores humanos (F1 holístico $\approx 0.71$ ), comparable a modelos de 8 a 13 veces su tamaño. Sin embargo, exhibe una gran brecha de recuperación ( $\Delta \approx 0.36$ bajo instrucciones en portugués y $0.44$ bajo instrucciones en inglés). Esto indica que la descomposición recupera solo la mitad del rendimiento holístico de AMALIA.
Correlatos Superficiales vs. Teoría: El análisis de errores revela que los falsos positivos de AMALIA están impulsados en gran medida por correlatos superficiales, como la "indignación moral genérica" cerca de figuras de autoridad o la mera presencia de una figura de autoridad, en lugar de la postura evaluativa requerida sobre la jerarquía. En el 78% de los falsos positivos, el modelo dependió de bases superficiales en lugar de la definición teórica del constructo.
Fallo Específico del Modelo: El fallo es específico de AMALIA, no del corpus ni del idioma.
- GPT-OSS-120B cierra la brecha en el corpus de portugués ( $\Delta \approx 0.03$ ), desempeñándose de manera similar a sus resultados en inglés.
- Llama-3.3-70B muestra una brecha moderada ( $\Delta \approx 0.12$ ), que es mayor que su rendimiento en inglés pero significativamente menor que el de AMALIA.
- Esto sugiere que el problema es el "instrumento constructo-modelo" (específicamente la capacidad del modelo de 9B para ejecutar el grano teórico), no el idioma portugués o el corpus transcreado.
Idioma de las Instrucciones: La hipótesis de que las instrucciones en portugués reducirían la brecha no fue apoyada estadísticamente ( $\Delta_{pt} = 0.358$ vs. $\Delta_{en} = 0.436$ ; el intervalo de confianza para la diferencia incluyó cero). Aunque la dirección fue consistente con la hipótesis, el efecto no fue significativo.

Contribuciones Clave

Operacionalización de la Validez de Constructo: El artículo introduce y aplica la "brecha de recuperación" como una herramienta de diagnóstico para distinguir entre el acuerdo fiable y la medición válida en los LLM. Demuestra que el acuerdo por sí solo es insuficiente para validar los LLM como instrumentos científicos.
Evaluación de Modelos Soberanos: Proporciona el primer estudio de validez de un LLM nacional (AMALIA) en su lengua nativa, desafiando la suposición de que los modelos de "lengua materna" poseen automáticamente una validez de medición superior.
Pipeline de Transcreación: Detalla un proceso riguroso y preregistrado para la creación de corpus translingüísticos para la validación de constructos, asegurando que la transferencia de códigos esté justificada por la verificación y no por la suposición.
Análisis de Errores Granulares: Al descomponer los prompts en cláusulas atómicas, el estudio identifica modos de fallo específicos (por ejemplo, la dependencia de la indignación moral como sustituto de la autoridad) que las métricas holísticas ocultan.

Significado y Reivindicaciones
El artículo concluye que, si bien AMALIA es un anotador fiable (produciendo códigos que coinciden con el consenso humano), no es todavía un instrumento válido para medir el constructo teórico de la autoridad. Produce los códigos "correctos" por las razones "equivocadas", dependiendo de patrones superficiales en lugar de las inferencias teóricas requeridas por la definición del constructo.

Los autores argumentan que, para que los programas de LLM soberanos sean confiables en tareas de medición, deben ir más allá de las métricas de acuerdo. La pregunta crítica no es si el modelo está de acuerdo con los humanos, sino si puede "mostrar su trabajo" ejecutando los pasos inferenciales específicos definidos por la teoría. El estudio sugiere que los modelos nacionales más pequeños pueden carecer del "grano ejecutable" para realizar descomposiciones teóricas complejas sin recalibración, y que la evidencia de validez debe generarse para usos de medición específicos, no solo para benchmarks de lenguaje general. El artículo establece explícitamente que AMALIA es adecuado para el triaje y la precodificación, pero no para la medición autónoma de constructos teóricos.