💬 NLP

Using Human-LLM Disagreement to Improve Checklist-Based Quality Appraisal

Este artículo demuestra que el análisis del desacuerdo entre humanos y LLM en la evaluación de calidad basada en listas de verificación puede identificar criterios ambiguos, y que la revisión de estos elementos mejora significamente el acuerdo al tiempo que preserva la clasificación relativa de los estudios, apoyando así flujos de trabajo de síntesis de investigación asistidos por LLM más fiables.

Autores originales: Timo van der Kuil (Methodology and Statistics Utrecht University), Bruno Messina Coimbra (Methodology and Statistics Utrecht University), Mirjam van Zuiden (Clinical Psychology Utrecht University), Ro

Publicado 2026-08-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Timo van der Kuil (Methodology and Statistics Utrecht University), Bruno Messina Coimbra (Methodology and Statistics Utrecht University), Mirjam van Zuiden (Clinical Psychology Utrecht University), Robert A. Bagheri (Methodology and Statistics Utrecht University), Rens van de Schoot (Methodology and Statistics Utrecht University), Klaas Dieleman (Methodology and Statistics Utrecht University), Berend Greijn (Methodology and Statistics Utrecht University), Stefan Houkes (Methodology and Statistics Utrecht University), Sebastiaan Rodenhuis (Methodology and Statistics Utrecht University), Elizabeth M. Grandfield (Methodology and Statistics Utrecht University)

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cada año, el mundo de la ciencia produce un aluvión de nuevas investigaciones, lo que crea un desafío para quienes intentan dar sentido a todo ello. Cuando los científicos quieren comprender el panorama completo de un tema, realizan una revisión sistemática, un proceso que consiste en recopilar todos los estudios pertinentes sobre un sujeto y comprobar qué tan bien se realizó cada uno. Este control de calidad es crucial porque separa los hallazgos fiables de los defectuosos, pero también es increíblemente lento y mentalmente agotador. Los expertos deben leer informes densos y decidir si los investigadores siguieron las reglas, una tarea que puede tomar una hora por estudio y es propensa a errores cuando las personas se cansan. Recientemente, han surgido programas informáticos potentes conocidos como modelos de lenguaje de gran tamaño como ayudantes potenciales para este trabajo. Estos programas pueden leer y comprender texto, lo que conduce a una idea esperanzadora: ¿podría un ordenador encargarse del tedioso trabajo de comprobar la calidad de los estudios? Sin embargo, no basta con entregar una lista de verificación a un ordenador. Si las preguntas de la lista son vagas o confusas, incluso un ordenador inteligente tendrá dificultades para dar la respuesta correcta, tal como le sucedería a un humano.

Un equipo de investigadores se propuso probar esta idea y, lo que es más importante, ver cómo podían lograr que el ordenador y los expertos humanos coincidieran mejor. Se centraron en un conjunto específico de reglas llamado lista de verificación GRoLTS, que se utiliza para juzgar estudios que rastrean cómo cambian grupos de personas a lo largo del tiempo. Los investigadores primero pidieron a varios modelos informáticos diferentes que aplicaran estas reglas a una colección de estudios reales sobre el trauma, mientras que expertos humanos ya habían calificado los mismos estudios. Descubrieron que los ordenadores no eran perfectos; coincidían con los humanos en algunas preguntas, pero a menudo discrepaban en otras. Las discrepancias no eran aleatorias. Ocurrían con mayor frecuencia cuando un elemento de la lista de verificación estaba redactado de una manera que permitía múltiples interpretaciones, como preguntar si algo se hizo para "todos" los modelos cuando el estudio solo informaba sobre algunos, o usar términos amplios que eran difíciles de precisar. El ordenador a menudo encontraba una evidencia y decía "sí", mientras que el experto humano, buscando un estándar más estricto, decía "no".

En lugar de simplemente aceptar estos errores, los investigadores utilizaron las discrepancias como un mapa para corregir la propia lista de verificación. Tomaron las preguntas confusas y las reescribieron para que fueran más claras y específicas. Descompusieron preguntas complejas que preguntaban dos cosas a la vez en preguntas separadas y más simples. Eliminaron escenarios de "si-entonces" que requerían suponer y reemplazaron términos vagos con ejemplos concretos de qué buscar. Una vez que habían creado esta versión mejorada, una segunda versión de la lista de verificación, pidieron a los ordenadores y a los expertos humanos que calificaran los estudios nuevamente. Los resultados mostraron una mejora clara. Los ordenadores y los humanos coincidieron mucho más a menudo con la nueva versión. La confusión que había causado que los ordenadores tropezaran había desaparecido en gran medida. Más importante aún, los investigadores descubrieron que los ordenadores seguían siendo muy buenos clasificando los estudios de mejor a peor, incluso si cometían algunos pequeños errores en preguntas individuales. Esto significa que un ordenador puede ayudar de forma fiable a los investigadores a priorizar qué estudios observar primero, siempre y cuando las reglas que sigue estén escritas con claridad.

El estudio sugiere que la clave para hacer que la inteligencia artificial sea útil para la revisión científica no es solo elegir un programa informático más inteligente, sino diseñar mejores preguntas para que responda. Cuando las reglas son ambiguas, tanto los humanos como las máquinas tienen dificultades, pero cuando las reglas son precisas, las máquinas se convierten en socios fiables. Los investigadores no encontraron que los ordenadores pudieran reemplazar por completo a los expertos humanos, ya que algunas preguntas difíciles aún requerían el juicio humano. En cambio, demostraron que, al analizar dónde el ordenador y el humano discrepaban, podían identificar los puntos débiles en sus herramientas y corregirlos. Este enfoque convierte un desajuste en una herramienta para la mejora, sugiriendo que el futuro de la revisión científica reside en una asociación donde los ordenadores se encarguen de las tareas claras y los humanos se centren en las complejas, guiados por listas de verificación que estén diseñadas para que ambos las entiendan.

Resumen Técnico: Uso del desacuerdo entre Humanos y LLM para mejorar la evaluación de calidad basada en listas de verificación

Planteamiento del problema
Las revisiones sistemáticas requieren una evaluación de calidad rigurosa de los estudios incluidos, un proceso que es laborioso, cognitivamente demandante y propenso a errores causados por la fatiga. Aunque los Modelos de Lenguaje de Gran Escala (LLM) ofrecen potencial para la automatización, su aplicación en este dominio se ve obstaculizada por la ambigüedad inherente a los criterios de las listas de verificación. La investigación existente suele tratar las listas de verificación como entradas fijas, centrándose en la ingeniería de prompts o en la selección del modelo sin abordar si el diseño de la lista de verificación contribuye al desacuerdo entre expertos humanos y LLMs. Además, no está claro si las puntuaciones generadas por los LLM preservan el orden relativo de los estudios por calidad, un requisito crítico para la priorización en la síntesis de evidencia.

Metodología
El estudio utilizó la lista de verificación de las Guías para el Reporte de Estudios de Trayectoria Latente (GRoLTS), un instrumento binario de 21 ítems diseñado para expertos humanos. La investigación empleó un diseño experimental de dos etapas a través de tres dominios distintos: Trastorno de Estrés Postraumático (TEPT), Logro Educativo y Delincuencia Adolescente.

Implementación del Pipeline: Se construyó un pipeline de Generación Aumentada por Recuperación (RAG) para aplicar la lista de verificación a artículos de texto completo. Este pipeline consistió en:
- Preprocesamiento: Conversión de PDFs a Markdown para preservar elementos estructurales.
- Segmentación: División del texto en fragmentos superpuestos (1,000 palabras con una superposición de 50 palabras).
- Incrustación y Recuperación (Embedding & Retrieval): Uso del modelo Qwen3-Embedding-8B para generar representaciones vectoriales tanto de los ítems de la lista como de los fragmentos de texto. Para cada ítem, se recuperaron los 10 fragmentos semánticamente más relevantes mediante similitud de coseno.
- Generación: Un prompt estandarizado instruyó a cinco LLMs diferentes (GPT-5-mini, LLaMA 3.3 70B, Qwen3 30B, Qwen3-Next 80B y Magistral Small) para generar juicios binarios (Sí/No) basados únicamente en el contexto recuperado.
Estrategia de Evaluación:
- Etapa 1 (Línea base): Las anotaciones humanas (de la investigación original de GRoLTS) se compararon con los resultados de los LLM utilizando la lista de verificación original (v1) en el dominio de TEPT.
- Etapa 2 (Revisión y Validación): Basándose en la Etapa 1, la lista de verificación fue revisada (v2) para abordar las fuentes de desacuerdo. La lista de verificación revisada se aplicó a los tres dominios.
- Métricas: El acuerdo se midió mediante la precisión de coincidencia exacta, métricas corregidas por el azar (Kappa de Cohen y Kappa de Fleiss) y la correlación de rango de Spearman para evaluar la preservación del orden de los estudios.

Contribuciones Clave
La principal contribcción de este trabajo es la demostración de que el análisis del desacuerdo entre humanos y LLM sirve como una herramienta de diagnóstico para mejorar los instrumentos de evaluación, en lugar de simplemente evaluar el rendimiento del modelo. El estudio identificó fallos estructurales específicos en el diseño de la lista de verificación —como el fraseo condicional, las preguntas de doble barril y el alcance ambiguo— que impulsan el desacuerdo. Al revisar sistemáticamente estos ítems (por ejemplo, dividiendo ítems para distinguir entre el reporte parcial vs. completo y eliminando subítems condicionales), los autores desarrollaron una lista de verificación revisada (v2) que mejoró significativamente la alineación entre los juicios humanos y automatizados.

Resultados

Rendimiento a nivel de ítem: En la lista de verificación original (v1), el acuerdo variaba drásticamente, con algunos ítems mostrando una precisión casi perfecta y otros tan baja como 0.10. Los ítems con baja precisión se caracterizaban por su ambigüedad y lógica condicional.
Impacto de la revisión: La lista de verificación revisada (v2) produjo una mejora notable. La precisión media para los ítems con menor rendimiento aumentó de aproximadamente 0.10–0.20 (v1) a 0.40–0.60 (v2). La proporción de ítems que alcanzaron una alta precisión (0.7–1.0) aumentó, y la variabilidad entre los diferentes LLM disminuyó.
Acuerdo corregido por el azar: Los valores de la $\kappa$ de Cohen para v2 oscilaron entre 0.41 y 0.72 (acuerdo moderado a sustancial), una mejora respecto al rango de 0.31–0.52 observado en v1. La $\kappa$ de Fleiss entre todos los evaluadores (cinco LLMs y un humano) mejoró de 0.41 (v1) a aproximadamente 0.60 (v2).
Preservación del Rango: Aunque persistieron las clasificaciones erróneas a nivel de ítem, las puntuaciones totales generadas por los LLM mantuvieron una correlación de moderada a fuerte con los rankings humanos (correlación de Spearman $\rho$ entre 0.36 y 0.72). Crucialmente, el estudio encontró que los rankings derivados únicamente de los ítems de alto acuerdo mostraron una fuerte correlación con los rankings humanos ( $\rho \approx 0.58–0.93$ ), mientras que los ítems de bajo acuerdo introdujeron inestabilidad.

Significancia y Reivindicaciones
El artículo sostiene que la fiabilidad de la evaluación de calidad asistida por LLM no es solo una función de la capacidad del modelo, sino que depende fuertemente de la claridad y estructura del instrumento de evaluación. Los autores postulan que el desacuerdo entre humanos y LLM es una señal útil para identificar ítems problemáticos en la lista de verificación, permitiendo un proceso iterativo para refinar los flujos de trabajo de síntesis de investigación.

El estudio sugiere una estrategia de "automatización selectiva": los LLM pueden manejar eficazmente los criterios bien especificados para preservar el orden relativo de los estudios para la priorización, mientras que los revisores humanos deben centrarse en resolver los ítems ambiguos o conceptualmente complejos. Este enfoque permite la integración de los LLM en las revisiones sistemáticas sin requerir una precisión perfecta a nivel de ítem, siempre que la lista de verificación esté diseñada para minimizar la ambigüedad. Los hallazgos respaldan la utilidad general de los LLM en la síntesis de evidencia, siempre que las herramientas que utilizan sean codiseñadas teniendo en cuenta tanto las restricciones humanas como las automatizadas.

Más como este