High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis

Cada vez que un equipo de investigadores se propone comprender un tratamiento médico, primero debe reunir los hechos de docenas, a veces cientos, de estudios individuales. Este proceso, conocido como revisión sistemática, es la base de la evidencia médica moderna. Requiere que los científicos lean informes densos y extraigan números específicos: cuántos pacientes participaron, qué dosis recibieron y cuáles fueron los resultados. Si se copia incorrectamente un solo número, la conclusión de toda la revisión puede cambiar, lo que podría llevar a los médicos a recomendar el tratamiento equivero. Durante décadas, este trabajo ha sido realizado por manos humanas, una tarea lenta y meticulosa donde dos personas suelen leer el mismo documento de forma independiente para detectar errores. Es el estándar de oro para la precisión, pero también es increíblemente lento y costoso.

En años recientes, una nueva herramienta ha entrado en este ámbito: los modelos de lenguaje de gran tamaño. Estos son programas informáticos potentes entrenados en vastas cantidades de texto que pueden leer un artículo científico e intentar extraer los mismos números que lo haría un humano. La esperanza ha sido que estos sistemas de inteligencia artificial pudieran realizar el trabajo pesado, acelerando el proceso y liberando a los expertos humanos para un pensamiento más complejo. Pero a medida que estas herramientas se han vuelto más comunes, ha surgido una pregunta crítica: ¿podemos confiar en que sean tan precisas como los humanos, y su rendimiento se mantiene constante sin importar qué tipo de información se les pida encontrar?

Un nuevo estudio de Carlos Darcy Alves Bersot y sus colegas realiza un análisis estadístico profundo sobre esta cuestión. No se limitaron a preguntar si las máquinas funcionan; recopilaron todos los informes disponibles que probaron estos modelos contra un estándar creado por humanos y combinaron los resultados para ver el panorama completo. Lo que encontraron es una historia de dos realidades muy diferentes coexistiendo. Por un lado, el rendimiento promedio de estos sistemas de inteligencia artificial es sorprendentemente alto. Por otro lado, ese promedio esconde una realidad caótica donde el rendimiento puede oscilar drásticamente dependiendo de la tarea específica en cuestión.

Los investigadores recopilaron datos de cuarenta y seis informes diferentes, que representaban cuarenta y cinco investigaciones independientes. Se centraron específicamente en el momento antes de que un humano vea el trabajo de la máquina. Querían saber: si se le pide a un modelo de lenguaje de gran tamaño que extraiga una pieza de información, ¿con qué frecuencia acierta al primer intento? Cuando agruparon los resultados de ocho estudios clave que cumplían con sus estrictos criterios, la respuesta fue alentadora. Los modelos obtuvieron la respuesta correcta aproximadamente el 86.4 por ciento de las veces. Este número sugiere que, en un sentido general, estas herramientas son bastante capaces.

Sin embargo, la historia no termina con ese número promedio. Los investigadores profundizaron y descubrieron que este alto promedio estaba construido sobre un fundamento de extrema inconsistencia. Calcularon un rango que muestra qué tipo de rendimiento se podría esperar en una situación nueva y no vista. Este rango se extendía desde un mínimo del 19.2 por ciento hasta un máximo del 99.4 por ciento. Para poner esto en perspectiva, imagine a un estudiante tomando un examen que obtiene una puntuación promedio del 86 por ciento. Si las puntuaciones de ese estudiante en exámenes individuales variaran desde el reprobar hasta la perfección, usted no se sentiría confiado al enviarlo a un salón de clases a calificar trabajos. La misma lógica se aplica aquí. El hecho de que el promedio sea alto no garantiza que la máquina funcionará bien en un escenario específico del mundo real.

El estudio revela que el tipo de información que se extrae marca una diferencia masiva. Cuando la tarea implica hechos simples y claramente declarados, los modelos funcionan muy bien. Pero cuando la tarea requiere encontrar números enterrados en tablas complejas, interpretar textos ambiguos o extraer datos que están ausentes o mal reportados, la precisión cae significamente. En un caso específico donde el modelo tuvo que encontrar información de respuesta abierta que requería recordar detalles de la memoria en lugar de simplemente copiarlos, la precisión cayó estrepitosamente al solo 17 por ciento. Este estudio específico, con su tarea muy diferente, redujo el promedio general y amplió el rango de resultados posibles. Cuando los investigadores eliminaron este valor atípico para observar tareas más similares y estructuradas, el promedio de precisión subió al 91.2 por ciento, pero incluso entonces, el rendimiento aún podía variar ampliamente de un entorno a otro.

Los investigadores también examinaron cómo estas herramientas manejan los datos numéricos, que es la parte más crítica de una revisión médica. Aquí, los resultados fueron mixtos. En algunas pruebas altamente estructuradas, los modelos alcanzaron una precisión casi perfecta, obteniendo correctamente el 99 por ciento de los números. En otros estudios con diferentes tipos de datos, la precisión cayó alrededor del 63 por ciento. Esta inconsistencia significa que un investigador no puede asumir que porque un modelo es bueno en una cosa, será bueno en todo. Un modelo que destaca encontrando el nombre de un fármaco podría fallar estrepitosamente al encontrar el número exacto de pacientes que experimentaron un efecto secundario.

Otro hallazgo crucial concierne al flujo de trabajo. Muchos estudios analizaron cómo funcionan estas herramientas cuando hay humanos involucrados en el proceso, como cuando un humano revisa el trabajo de la máquina o cuando la máquina actúa como un segundo lector. Estos flujos de trabajo asistidos por humanos suelen mostrar mejores resultados y ahorran tiempo. Sin embargo, el estudio hace una distincción clara: la velocidad y la precisión de un humano trabajando con una máquina no son lo mismo que la máquina trabajando sola. Los ahorros de tiempo reportados en algunos estudios provienen de que la máquina realiza el borrador inicial, pero el humano aún tiene que dedicar tiempo a verificar y corregir el trabajo. La máquina no elimina la necesidad de supervisión humana; simplemente cambia la naturaleza del trabajo.

Los investigadores también analizaron la calidad de los estudios que revisaron y encontraron que muchos tenían fallas metodológicas. Algunos estudios no explicaron claramente cómo probaron los modelos, o utilizaron los mismos datos tanto para entrenar al modelo como para probarlo, lo que puede hacer que los resultados parezcan mejores de lo que realmente son. Debido a estas limitaciones y al pequeño número de estudios verdaderamente independientes disponibles, los investigadores no pueden afirmar con absoluta certeza que estas herramientas funcionarán perfectamente en cada situación futura. La evidencia sugiere que, si bien las herramientas son poderosas, aún no son lo suficientemente confiables como para reemplazar por completo a los revisores humanos.

La conclusión de este trabajo no es que la inteligencia artificial sea un fracaso, sino que es una herramienta que requiere un manejo cuidadoso. La alta precisión promedio es real, pero es un punto de referencia engañoso si se toma fuera de contexto. Nos dice que la tecnología tiene potencial, pero también nos advierte que el rendimiento es frágil. Un sistema que funciona bien para un tipo de extracción de datos puede fallar por completo para otro. Los investigadores argumentan que el mejor camino a seguir no es confiar ciegamente en las máquinas, sino utilizarlas como parte de una estrategia adaptada al riesgo. Para tareas simples y claras, pueden usarse con confianza. Para datos complejos, numéricos o ambiguos, la verificación humana sigue siendo esencial.

En última instancia, este estudio desplaza la conversación de "¿Puede la máquina hacerlo?" a "¿Bajo qué condiciones puede la máquina hacerlo?". La respuesta es que la máquina puede hacerlo bien, pero solo cuando las condiciones son las adecuadas. El alto puntaje promedio es una promesa de capacidad, pero la amplia variabilidad es una advertencia de imprevisibilidad. Para los científicos que dependen de estas revisiones para guiar la práctica médica, la lección es clara: la máquina es un asistente útil, pero no es todavía un reemplazo para el ojo cuidadoso y crítico de un experto humano. El futuro de la síntesis de evidencia probablemente involucrará una asociación donde la máquina maneje el volumen y el humano asegure la validez, con el entendimiento de que el rendimiento de la máquina nunca es una garantía, sino una variable que debe ser constantemente verificada.