Using a Human-AI Teaming Approach to Create and Curate Scientific Datasets with the SCILIRE System

Resumen Técnico: SCILIRE

1. El Problema

El crecimiento exponencial de la literatura científica ha hecho que la extracción manual de conocimiento estructurado sea cada vez más impráctica. Aunque existen herramientas impulsadas por Grandes Modelos de Lenguaje (LLM) como Elicit o SciSpace, estas suelen operar bajo un enfoque de "paso único" (single-pass). Esto presenta varias limitaciones críticas:

• Falta de corrección iterativa: Si el LLM comete errores o alucina información, el usuario debe corregir los datos fuera de la herramienta, un proceso arduo y sin asistencia de IA.
• Fiabilidad: Los modelos generativos pueden producir información confabulada con tasas de error no triviales, lo que requiere supervisión humana experta.
• Escalabilidad: Los flujos de trabajo actuales no permiten escalar la creación de conjuntos de datos (datasets) a grandes volúmenes de literatura manteniendo altos estándares de calidad.

2. Metodología: SCILIRE y el Enfoque HAT-DC

El sistema SCILIRE (Scientific Literature Information Extraction and Refinement) se diseña bajo los principios del Trabajo en Equipo Humano-IA (Human-AI Teaming - HAT), específicamente enfocado en la Curación de Datos Asistida por HAT (HAT-DC). A diferencia de las herramientas existentes, SCILIRE no busca la automatización total, sino la augmentación de habilidades humanas mediante un flujo de trabajo iterativo.

Arquitectura y Componentes Clave:

• Preprocesamiento de Documentos:
  • Utiliza pipelines de extracción de texto (GROBID y Apache Tika) para PDFs con texto legible.
  • Emplea OCR (OCRmyPDF) para documentos escaneados.
  • Incluye un módulo personalizado para la detección y extracción de tablas y figuras en dos etapas (detección de regiones y reconocimiento de estructura), renderizando el resultado en Markdown.
• Generación de Registros (Record Generation):
  • Construye prompts basados en un esquema definido por el usuario (columnas objetivo).
  • Utiliza un enfoque de Aprendizaje en Contexto (In-Context Learning - ICL). Inicialmente opera en zero-shot, pero evoluciona a few-shot dinámico.
  • Muestreo Dinámico (Dynamic Sampling): Esta es la innovación central. En lugar de usar ejemplos estáticos, el sistema recupera dinámicamente ejemplos de documentos previamente corregidos y verificados por humanos (usando BM25) para alimentar el prompt del LLM. Esto asegura que el ejemplo de referencia sea el más relevante para el documento actual.
  • Alineación: Fusiona resultados de múltiples pipelines (GROBID/Tika) utilizando el algoritmo de emparejamiento máximo de Hungría para sugerir registros alternativos al usuario.
• Soporte de Verificación:
  • Proporciona procedencia de datos: compara el contenido generado con el documento fuente mediante coincidencia difusa (fuzzy string matching) y resalta las coincidencias.
  • Ofrece explicaciones bajo demanda, mostrando los párrafos de origen que respaldan la respuesta extraída.

Flujo de Trabajo (HAT-DC):

1. Carga y Definición: El usuario sube documentos y define el esquema de la tabla.
2. Fase Piloto: El usuario selecciona una muestra pequeña (≤10 documentos), genera datos, los verifica y corrige manualmente. Estas correcciones se convierten en el "pool" para el muestreo dinámico.
3. Fase de Lote (Batch): El sistema procesa el resto de documentos a escala, utilizando las correcciones previas para mejorar la precisión de la extracción mediante el ICL dinámico.

3. Contribuciones Clave

1. Evaluación de un flujo de trabajo HAT-DC: Demuestra empíricamente que la interacción iterativa humano-IA mejora la fidelidad de la extracción en comparación con enfoques de un solo paso.
2. Muestreo Dinámico para ICL: Introduce un mecanismo donde el sistema aprende de las correcciones del usuario en tiempo real, seleccionando ejemplos de few-shot específicos para cada documento, superando las limitaciones de los ejemplos estáticos.
3. Herramienta Modular y Escalable: SCILIRE soporta la exportación de datos en formatos estructurados (CSV, JSON), la gestión de grandes colecciones de literatura y la trazabilidad completa de los datos extraídos.

4. Resultados

Los autores evaluaron el sistema utilizando 18 conjuntos de datos públicos de cinco dominios científicos (Machine Learning, Ciencia de Materiales, Química, Medicina y Física).

• Rendimiento Cuantitativo (Benchmarking):
  • Comparativa con ICL Estático vs. Dinámico: El uso de muestreo dinámico (ICL-D) superó consistentemente a los enfoques zero-shot y a los que usaban ejemplos estáticos (ICL-S). Por ejemplo, en el conjunto de datos PPE, el F1 mejoró de 51.67 (zero-shot) a 67.83 con ICL dinámico completo.
  • Comparativa con Herramientas Comerciales: SCILIRE superó significativamente a herramientas como Elicit y SciSpace. En promedio, SCILIRE logró un F1 de 22.76, mientras que Elicit y SciSpace obtuvieron promedios de 2.09 y 2.42 respectivamente en las mismas condiciones de prueba.
• Estudios de Caso y Feedback de Usuarios:
  • Se realizaron estudios en agricultura, ciencias ambientales, bioquímica y fabricación médica.
  • Los usuarios reportaron una reducción significativa en el tiempo de validación a medida que avanzaba el flujo de trabajo (tendencia decreciente estadísticamente significativa, p < 0.025).
  • Los expertos destacaron que la capacidad de verificar y corregir datos pre-llenados es mucho más eficiente que llenar tablas desde cero, permitiendo escalar tareas que antes requerían equipos enteros a un solo investigador.

5. Significado e Impacto

El trabajo de SCILIRE es significativo porque cambia el paradigma de la extracción de datos científicos:

• De la Automatización a la Colaboración: Reconoce que la IA no debe reemplazar al experto, sino trabajar en equipo con él. La supervisión humana es crucial para la confianza y la calidad, especialmente en ciencia.
• Viabilidad de "AI for Science" (AI4S): Facilita la creación de grandes conjuntos de datos estructurados necesarios para entrenar modelos de IA más avanzados en ciencia, algo que era un cuello de botella debido a la falta de herramientas de curación escalables.
• Transparencia y Confianza: Al integrar mecanismos de procedencia y verificación de alucinaciones, SCILIRE aborda las preocupaciones éticas y de fiabilidad sobre el uso de LLMs en investigación científica.

En conclusión, SCILIRE demuestra que un enfoque de Trabajo en Equipo Humano-IA, potenciado por el muestreo dinámico y la verificación iterativa, es la vía más efectiva para transformar la literatura científica no estructurada en datos de alta calidad listos para el análisis y la investigación.