Resumen Técnico: Compass: Navegando la Integración Global de Datos de Plomo Marino a través de un Agente LLM Guiado por Expertos

Declaración del Problema

El plomo (Pb) marino y sus isótopos son trazadores críticos para comprender la circulación oceánica y la historia de la contaminación antropogénica. Sin embargo, las observaciones in situ de alta calidad son costosas y escasas, y la mayoría de los datos históricos están enterrados dentro del texto no estructurado, tablas y figuras de artículos académicos. Esto crea un problema de "silos de datos" donde conjuntos de datos críticos son inaccesibles para síntesis a escala global.

Las soluciones existentes enfrentan dos limitaciones principales:

1. Curación Manual: Si bien programas como GEOTRACES aseguran una alta fidelidad de los datos, son intensivos en mano de obra y no escalables frente al crecimiento exponencial de la literatura científica.
2. Extracción Automatizada: Los Modelos de Lenguaje Grandes (LLM) de propósito general y los modelos específicos de dominio ajustados finamente a menudo fallan en contextos científicos de alto riesgo. Los LLM generales carecen de las restricciones lógicas específicas del dominio necesarias, lo que lleva a alucinaciones y resultados científicamente inválidos (por ejemplo, malinterpretar notaciones de isótopos o conversiones de unidades). Por el contrario, los modelos ajustados finamente a menudo degradan las capacidades de seguimiento de instrucciones requeridas para flujos de trabajo complejos y de múltiples pasos.

El desafío central es lograr tanto escalabilidad como rigor científico cerrando la brecha entre la comprensión del lenguaje de propósito general y las estrictas restricciones lógicas requeridas para la geoquímica marina.

Metodología: El Marco Compass

Para abordar estos desafíos, los autores proponen Compass, un marco de agente LLM que operacionaliza un enfoque de adaptación guiada por expertos. En lugar de depender del ajuste fino de caja negra o de la generación aumentada por recuperación no estructurada (RAG), Compass integra la experiencia del dominio directamente en el flujo de trabajo del agente mediante un Árbol de Conocimiento.

1. Diseño del Árbol de Conocimiento

Co-diseñado con científicos marinos, el Árbol de Conocimiento ($T$) es una estructura jerárquica donde los nodos representan tareas o subtareas específicas. Cada nodo está asociado con un conjunto de conocimiento de cuatro dimensiones ($K$):

• Conocimiento de Fondo ($BK$): Conceptos y terminología del dominio.
• Restricciones Lógicas ($LC$): Reglas explícitas y dependencias condicionales que definen rutas de ejecución válidas.
• Directrices Operativas ($OG$): Procedimientos paso a paso y especificaciones de formato de salida.
• Criterios de Validación ($VC$): Métricas de calidad y verificaciones de restricciones físicas para verificar la corrección de la salida.

Esta estructura codifica no solo qué debe saber el agente, sino cómo debe razonar y validar sus salidas, asegurando que el flujo de trabajo sea interpretable y científicamente confiable.

2. Arquitectura del Agente

Compass descompone la compleja tarea de integración de datos en una pipeline jerárquica de tres fases:

• Fase de Recopilación: Un componente de clasificación de artículos recupera artículos candidatos de repositorios (por ejemplo, Semantic Scholar, AceMap) y utiliza LLMs guiados por el Árbol de Conocimiento para identificar artículos que contienen datos objetivo de Pb marino.
• Fase de Extracción: Un componente de clasificación de tablas utiliza herramientas de análisis de PDF (MinerU) para extraer contenido tabular. Los LLM analizan luego las tablas con información contextual (leyendas, descripciones) para clasificar y filtrar las tablas de datos objetivo.
• Fase de Agregación: Tres componentes manejan la integración:
  • Asociación de Datos: Vincula elementos relacionados dentro de los artículos (por ejemplo, igualar mediciones de Pb con coordenadas de notas al pie).
  • Fusión de Fuentes Cruzadas: Normaliza encabezados de tablas heterogéneos en un esquema unificado.
  • Estandarización de Datos: Convierte valores en unidades consistentes utilizando funciones de conversión generadas por LLM.

3. Mecanismo de Validación

Compass emplea una estrategia de validación multicapa informada por los Criterios de Validación del Árbol de Conocimiento:

• Verificaciones Automáticas de Restricciones Físicas: Cada registro extraído pasa por verificación de rangos de valores, validación cruzada de conversiones de unidades y filtrado de valores atípicos geográficos. Los fallos activan un mecanismo de reversión para reprocesar la subtarea específica, evitando la propagación de errores.
• Validación Manual por Expertos: Una muestra aleatoria estratificada es revisada por científicos marinos para evaluar la precisión de extremo a extremo.

Contribuciones Clave

1. Marco Compass: El desarrollo de un Agente LLM potenciado por un Árbol de Conocimiento que descompone jerárquicamente flujos de trabajo científicos complejos, permitiendo la extracción e integración precisa de datos de granularidad fina (texto y tablas) de fuentes académicas heterogéneas.
2. Adaptación Guiada por Expertos: Una demostración de que inyectar conocimiento experto estructurado mediante un Árbol de Conocimiento co-diseñado puede cerrar efectivamente la brecha entre LLMs de propósito general y dominios científicos de alto riesgo sin necesidad de costoso ajuste fino.
3. Base de Datos Marina de Pb Integrada Más Grande: El despliegue de Compass en más de 230,000 artículos de acceso abierto para recuperar 3,751 registros de Pb previamente no incorporados, estableciendo la base de datos marina de Pb integrada más grande hasta la fecha.

Resultados y Rendimiento

Los autores evaluaron Compass frente a LLMs de propósito general (por ejemplo, GPT-4o, Gemini-2.5-pro) y modelos específicos de dominio ajustados finamente (por ejemplo, K2, OceanGPT) utilizando un conjunto de datos de referencia de 337 tablas en 10 categorías.

• Rendimiento de Referencia: Compass (utilizando un núcleo Qwen2.5-32B) logró las puntuaciones más altas en todas las tareas.
  • Clasificación de Artículos: 96.0% de precisión.
  • Clasificación de Tablas: 94.7% de precisión.
  • Extracción de Extremo a Extremo: Logró una puntuación F1 de 0.465, superando a GPT-4o (0.373) y Gemini-2.5-pro (0.404).
  • Comparación con Modelos Ajustados Finamente: Modelos específicos de dominio como OceanGPT tuvieron un rendimiento deficiente (F1: 0.009), destacando que el ajuste fino por sí solo degrada las capacidades de seguimiento de instrucciones esenciales para la integración de múltiples pasos.
• Estudios de Ablación: Eliminar la lógica estructurada en árbol redujo la puntuación F1 a 0.402, y eliminar los nodos de conocimiento la redujo a 0.381. Habilitar el mecanismo automático de reversión de validación mejoró aún más la puntuación F1 a 0.619.
• Escala de Despliegue: Compass procesó 230,000 artículos, identificando 110 artículos relevantes y extrayendo 3,751 nuevos registros.
• Calidad de Datos:
  • Las verificaciones automáticas lograron tasas de aprobación del 100% para verificaciones de rangos de valores y límites geográficos, y del 95% para conversiones de unidades.
  • La validación manual por expertos en un subconjunto de 22 artículos (946 puntos de datos) confirmó una precisión del 92% (IC 95%: ±1.7%).
  • Las principales fuentes de error fueron la confusión semántica (por ejemplo, clasificar erróneamente muestras de agua de lluvia como agua de mar) y errores de asociación de datos.

Significado e Impacto

Los autores afirman que este trabajo demuestra la viabilidad de agentes guiados por expertos para cerrar la brecha entre LLMs de propósito general y dominios científicos rigurosos.

• Expansión de Datos: La integración añade 16,455 nuevos registros al conjunto de datos GEOTRACES existente (un aumento del 86%), expandiendo significativamente la cobertura en regiones poco muestreadas como el Mar de la China Oriental, el Mar Arábigo y el Océano Austral.
• Utilidad Científica: El conjunto de datos enriquecido apoya la estimación global de inventarios de Pb, la identificación de fuentes mediante relaciones de isótopos estables y la investigación de las respuestas oceánicas a la eliminación global de la gasolina con plomo.
• Eficiencia: La pipeline requirió aproximadamente 52 horas de GPU, representando una mejora de eficiencia de más de cuatro órdenes de magnitud en comparación con la curación manual.
• Ciencia Abierta: Los autores lanzaron una plataforma de visualización interactiva (JingWei) y el código fuente para facilitar el acceso científico abierto y la reproducibilidad.

El artículo concluye que, si bien existen limitaciones relacionadas con la extracción de figuras y las dependencias del análisis de PDF aguas arriba, el diseño modular permite mejoras futuras. El trabajo establece una alternativa práctica y de bajo costo al entrenamiento de modelos específicos de dominio para el descubrimiento de datos escalable en geociencias.