Resumen Técnico: Señales de Incertidumbre Auxiliares para el Cribado de Revisiones Sistemáticas Asistido por LLM

1. Declaración del Problema

Las revisiones sistemáticas son el estándar de oro para la síntesis de evidencia en el ámbito sanitario, pero la fase de cribado de título y resumen sigue siendo un cuello de botella importante, que a menudo requiere cientos de horas de tiempo experto. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han demostrado ser prometedores como cribadores automatizados, sufren una limitación crítica: sus decisiones carecen de incertidumbre calibrada. Un LLM que emite un "INCLUIR" con lenguaje de vacilación (por ejemplo, "esto podría ser relevante") es indistinguible en su acción posterior de una decisión certera. Esta ausencia de incertidumbre estructurada impide que los revisores dirijan eficientemente los registros ambiguos hacia la verificación humana y deja al LLM sin un mecanismo para solicitar evidencia adicional cuando su evaluación es ambigua.

2. Metodología

2.1 Diseño Experimental

El estudio evalúa cinco condiciones de entrega de prompts a través de ocho conjuntos de datos de clases de fármacos del banco de pruebas Cohen (2006). La evaluación utiliza 3 semillas aleatorias y validación cruzada estratificada de 5 pliegues (5-fold), lo que resulta en 600 ejecuciones experimentales a nivel de pliegue.

2.2 La Señal de Incertidumbre Auxiliar (BERT+GCN)

Se entrena un modelo híbrido BERT+GCN (Red de Convolución de Grafos) por cada pliegue para generar señales de incertidumbre estructuradas. El pipeline representa los artículos mediante:

• Contenido: Embeddings de PubMedBERT del título y el resumen.
• Contexto Relacional: Embeddings de GCN aprendidos sobre un grafo de similitud de $k$-vecinos más cercanos con bordes de citación opcionales, utilizando RGCNConv (Convolución de Grafo Relacional).

El modelo clasifica los artículos en tres estados: INCLUIR, EXCLUIR o TAL VEZ. El estado TAL VEZ se activa mediante dos pruebas espectrales complementarias:

1. Prueba de Radical Algebraico: Marca la incertidumbre si la brecha entre los logits de incluir y excluir es inferior a un umbral ($|P(\text{Incluir}) - P(\text{Excluir})| < \epsilon$, donde $\epsilon=0.15$).
2. Prueba de Paradoja Categórica: Marca la incertidumbre si la similitud de coseno entre los embeddings de BERT (contenido) y GCN (relacional) es baja ($\cos(b, g) < \delta$, donde $\delta=0.0$), indicando un desacuerdo entre el contenido textual y el vecindario de citas.

2.5 Condiciones de Entrega de Prompts

El estudio investiga cómo se inyecta el contexto espectral en el prompt del LLM:

1. Línea Base (Baseline): Solo título y resumen.
2. Espectro Completo (Full Spectral): Título, resumen y contexto espectral completo (etiqueta, brecha de confianza, confianza del modelo, tipo de paradoja) para cada artículo.
3. Solo Decisión (Decision Only): Título, resumen y la etiqueta espectral (INCLUIR/EXCLUIR/TAL VEZ) sin puntuaciones numéricas.
4. Solo TAL VEZ (MAYBE Only): Contexto espectral completo adjunto solo cuando el BERT+GCN marca el artículo como TAL VEZ; prompt de línea base para todos los demás.
5. Dos Pasadas (Two-Pass): Se envía primero un prompt de línea base. Si la respuesta del LLM contiene lenguaje de vacilación o baja confianza, una segunda pasada envía el contexto espectral completo para "reconsiderar" la decisión.

2.6 Modelos y Métricas

• LLMs: El cribador principal es gpt-5.4-mini (instantánea de enero–abril de 2026); un piloto entre modelos utiliza gpt-4.1-mini.
• Métricas: Recall (sensibilidad), AUC-ROC (usando puntuaciones de confianza del LLM), F1, Trabajo Ahorrado sobre Muestreo al 95% de recall (WSS@95) y coste de tokens.
• Análisis: Un piloto de portabilidad entre modelos pre-registrado prueba la señal transmodelos. Un estudio de ablación por artículo (20.796 observaciones) analiza la contribución de la prueba de paradoja dual.

3. Resultados Clave

3.1 Ganancias de Eficiencia con Contexto Completo

La entrega de contexto espectral completo produce mejoras estadísticamente significativas respecto a la línea base:

• Puntuación F1: Mejora de +0.011 ($p=0.008$).
• WSS@95: Mejora de +0.050 ($p=0.039$), lo que significa una reducción del 5% en la carga de cribado manteniendo un 95% de recall.
• Coste: Esto conlleva un sobrecoste de tokens de 1.28×.
• Recall: El recall se preserva en todas las condiciones ($p \ge 0.12$), lo que indica que no hay un compromiso de seguridad.

3.2 La Estrategia Óptima de Pareto: Solo TAL VEZ

La estrategia de enrutamiento Solo TAL VEZ se identifica como la configuración más rentable:

• Rendimiento: Logra el mayor recall medio (0.92) y AUC-ROC (0.54) de todas las condiciones.
• Coste: Incurre en solo un coste de 1.05× respecto a la línea base (un sexto de la sobrecarga de la entrega de contexto completo).
• Nota Estadística: Aunque la entrega de contexto completo muestra mejoras significativas en F1 y WSS@95, la opción Solo TAL VEZ no difiere significativamente de la línea base o del contexto completo en estas métricas específicas, pero domina la frontera de coste-calidad.

3.3 Fallo del Autotriage del LLM (Dos Pasadas)

El diseño de Dos Pasadas, destinado a permitir que el LLM realice el autotriage de los registros inciertos, arrojó un resultado negativo decisivo:

• Escalada: El 22.2% ± 8.8% de los registros activaron una segunda pasada debido a la detección de lenguaje de vacilación.
• Tasa de Cambio (Flip Rate): El 0.0% de los artículos escalados cambió su decisión en la segunda pasada.
• Implicación: Los LLM actuales ajustados por instrucciones (instruction-tuned) no pueden realizar un autotriage efectivo; se anclan en su decisión inicial incluso cuando se les presenta nueva información de incertidumbre.

3.4 Portabilidad entre Modelos

Un estudio piloto que compara gpt-4.1-mini y gpt-5.4-mini en tres conjuntos de datos mostró una mejora de recall idéntica de +0.8% gracias al contexto espectral completo para ambas generaciones. Esto sugiere que la señal BERT+GCN actúa como un clasificador auxiliar estable e independiente del modelo, en lugar de ser un apoyo dependiente de la capacidad que solo beneficia a modelos más débiles.

3.5 Hallazgos de la Ablación del Clasificador

Un estudio de ablación sobre el motor espectral reveló que la Prueba de Paradoja Categórica (similitud de coseno) no se activó en ningún artículo del corpus de 8 conjuntos de datos con el umbral por defecto ($\delta=0.0$), ya que todas las similitudes de coseno BERT/GCN eran positivas. Por consiguiente, la doble prueba se reduce empíricamente a un único criterio de brecha de logit ($|P(\text{Incluir}) - P(\text{Excluir})| < 0.15$) para este benchmark específico.

4. Contribuciones y Significado

El artículo reclama las siguientes contribuciones y significados:

1. Guía Práctica para un Cribado Rentable: Identifica el enrutamiento Solo TAL VEZ como la configuración recomendada para despliegues sensibles al coste. Captura el beneficio espectral (alto recall y AUC-ROC) con un coste de API cercano al de la línea base, evitando la prima del 28% de la entrega de contexto completo.
2. Beneficio Cuantificado del Contexto Espectral: Proporciona evidencia de que el contexto de incertidumbre estructurado de un clasificador auxiliar mejora significamente la eficiencia del cribado (F1 y WSS@95) sin comprometer el recall.
3. Resultado Negativo Definitivo sobre el Autotriage: Proporciona "evidencia empírica decisiva" de que los LLM ajustados por instrucciones no pueden realizar autotriage. La tasa de cambio del 0% en el diseño de dos pasadas descarta una clase de diseños de pipeline que dependen de que los LLM reconozcan su propia incertidumbre y se beneficien de una reevaluación dirigida.
4. Señal Auxiliar Estable: El piloto entre modelos apoya la interpretación de la salida de BERT+GCN como una señal externa estable que se transfiere entre generaciones de LLM, en lugar de ser un arreglo para las brechas de razonamiento de modelos más débiles.
5. Implementación Reproducible: Los autores contribuyen con un benchmark de 600 ejecuciones totalmente reproducible, un script de análisis determinista y un pipeline disponible públicamente que puede ejecutarse en menos de una hora desde las respuestas almacenadas en caché.

5. Limitaciones y Alcance

Los autores señalan explícitamente varias condiciones de alcance:

• Dominio: Los resultados se basan en revisiones de clases de fármacos biomédicos; la generalización a las ciencias sociales o ambientales no ha sido probada.
• Cobertura de Modelos: La matriz principal utiliza gpt-5.4-mini; los resultados pueden diferir para modelos de frontera más grandes (por ejemplo, GPT-4o) o alternativas de código abierto, particularmente en cuanto a capacidades de razonamiento numérico.
• Umbrales: Los umbrales espectrales fueron fijos y no ajustados por conjunto de datos; los umbrales adaptativos (por ejemplo, umbrales de percentil basados en el coseno) siguen siendo una dirección futura.
• Humano en el Bucle (Human-in-the-Loop): El estudio evalúa frente a etiquetas de verdad fundamental (ground-truth), no frente a las decisiones de revisores humanos bajo presión de tiempo.
• Salida Determinista: Se utilizó temperatura 0, lo que impide el análisis de la varianza entre ejecuciones.

En conclusión, el artículo argumenta que, si bien los LLM son cribadores efectivos, se benefician más de una integración dirigida y rentable de señales de incertidumbre auxiliares (específicamente el enrutamiento Solo TAL VEZ), en lugar de depender de su propio autovaliaje o de la inyección de contexto generalizada.