Resumen Técnico: EO-Agents

Planteamiento del Problema

La investigación en observación de la Tierra (EO, por sus siglas en inglés) es fundamentalmente combinatoria, ya que depende del emparejamiento específico de productos de medición (por ejemplo, humedad del suelo con índices de vegetación) en lugar de conjuntos de datos únicos. Si bien la NASA distribuye más de 8,000 conjuntos de datos de EO, el espacio combinatorio de posibles emparejamientos ($\sim 10^6$) supera con creces la capacidad humana de encuesta. Los enfoques actuales de Modelos de Lenguaje de Gran Escala (LLM) para la generación de hipótesis científicas suelen depender de la recuperación de literatura no estructurada, tratando las hipótesis como afirmaciones textuales de forma libre. Sin embargo, en dominios observacionales ricos en datos, una hipótesis útil es inseparable de los productos de medición específicos y ejecutables necesarios para probarla. Los pipelines actuales fundamentados en la literatura suelen fallar al no anclar directamente las hipótesis a conjuntos de datos con nombre, tratando la identificación del conjunto de datos como un efecto secundario de la generación de texto en lugar de una restricción estructural.

Metodología

Los autores proponen EO-Agents, un pipeline que fundamenta la generación de hipótesis directamente en el Grafo de Conocimiento de Observación de la Tierra de la NASA (EO-KG) en lugar de en texto no estructurado. El sistema opera en tres etapas:

1. Recuperación de Grafo de Conocimiento y GNN

• Fuente de Datos: El pipeline utiliza el EO-KG, un grafo heterogéneo con 150,351 nodos (que incluyen Conjuntos de Datos, Publicaciones, Instrumentos, Plataformas, etc.) y 436,203 aristas.
• Supervisión: La supervisión de co-uso se deriva de publicaciones que citan múltiples conjuntos de datos. Los pares se etiquetan según el año de la publicación, creando una división temporal: entrenamiento (artículos $\le$ 2022), validación (2023) y prueba (2024).
• Modelo de Clasificación (Ranking): Se entrena una Red Neuronal de Grafos (GNN) heterogénea basada en GraphSAGE mediante la predicción de enlaces para clasificar los candidatos a emparejamiento de conjuntos de datos.
  • Arquitectura: El modelo utiliza agregadores específicos de tipo para diferentes tipos de aristas (por ejemplo, co-uso, montaje de plataforma, membresía de palabras clave). Los nodos de conjuntos de datos se inicializan con embeddings SPECTER2 de 768 dimensiones; otros tipos de nodos utilizan embeddings aprendibles.
  • Puntuación: Se evalúan dos cabezales de puntuación: un clasificador de producto punto ($z_{dot}$) y un clasificador MLP ($z_{mlp}$). El cabezal de producto punto funciona mejor en pares de "arranque en frío" (donde un conjunto de datos no tiene co-uso de entrenamiento), mientras que el cabezal MLP destaca en pares "cross-DAAC" (conjuntos de datos de diferentes archivos).
  • Salida: La GNN clasifica los pares por probabilidad de co-uso predicha, haciendo emerger los 200 pares novedosos superiores (aquellos no observados en los conjuntos de entrenamiento/validación/prueba).

2. Pipeline de Tres Agentes LLM

Los 200 pares candidatos superiores son procesados por una cascada de tres agentes LLM, cada uno instanciado con GPT-5.2 o Claude Sonnet 4.6. Todos los agentes operan con temperatura 0 y salida JSON estricta para minimizar la varianza de muestreo.

• Agente 1 (Filtro): Recibe el par de conjuntos de datos y sus resúmenes. Califica el par en Plausibilidad (1–5) y Novedad (1–5) sin ver ningún texto de hipótesis generada. Selecciona los 40 pares superiores utilizando una regla escalonada que equilibra una alta plausibilidad con suficiente novedad.
• Agente 2 (Generador): Recibe los 40 pares seleccionados y genera una hipótesis de investigación estructurada para cada uno. La salida incluye una pregunta de investigación, una hipótesis testeable, un método de análisis, un hallazgo esperado, importancia científica y una etiqueta de dominio. Crucialmente, no ve las puntuaciones del Agente 1 para evitar la regresión hacia las preferencias del filtro.
• Agente 3 (Juez): Evalúa las hipótesis generadas en Importancia, Tractabilidad y Novedad. Este agente opera bajo dos condiciones:
  • Ciego (Blind): Ve solo el texto de la hipótesis.
  • Contextual: Ve el texto de la hipótesis más los metadatos del conjunto de datos subyacente.

3. Evaluación Factorial

Para evaluar la fiabilidad de la evaluación basada en LLM, los autores llevan a cabo un experimento factorial de $2 \times 2 \times 2$ a través de los tres roles de agente (Filtro, Generador, Juez) y las dos condiciones de juicio (Ciego, Contextual). Esto produce 640 juicios a través de 160 hipótesis, lo que permite una descomposición de la varianza del proceso de puntuación.

Resultados Clave

1. Rendimiento de Recuperación

La GNN heterogénea supera significativamente a los modelos base (Popularidad, Vecinos Comunes, Adamic–Adar, MF-SVD y modelos de contenido como SPECTER2 y BGE-base) en todos los grupos de prueba.

• Arranque en Frío (Cold-Start): La GNN logra un Hits@10 de 0.519, superando a los modelos base de contenido (0.477) y a las heurísticas estructurales (0.211).
• Cross-DAAC: La GNN logra un Hits@10 de 0.175 (producto punto) y 0.266 (MLP), demostrando la capacidad de vincular conjuntos de datos entre diferentes archivos donde la similitud de contenido suele fallar debido al lenguaje técnico genérico.
• Novedad vs. Plausibilidad: Los pares novedosos predichos por la GNN reciben puntuaciones de plausibilidad de los jueces LLM que son casi indistinguibles de los co-usos reales retenidos de publicaciones de 2024 (por ejemplo, 4.38 frente a 4.57 para GPT), lo que indica que el sistema hace emerger combinaciones científicamente coherentes y inexploradas.

2. Fiabilidad de la Evaluación y Descomposición de la Varianza

El experimento factorial revela información crítica sobre la fiabilidad del LLM como juez:

• Estabilidad de Clasificación: Las clasificaciones de las hipótesis son altamente estables a través de diferentes configuraciones de agentes. 159 de 160 hipótesis cambian en un máximo de 2 puntos en el ranking a través de diferentes condiciones de juez.
• Varianza de Puntuación Absoluta:
  • Importancia: Depende fuertemente de la Identidad del Juez (25.1% de la varianza). GPT-5.2 califica la importancia consistentemente más alto que Claude Sonnet 4.6.
  • Tractabilidad: Dominada por la Condición Ciego/Contextual (15.8% de la varianza). Las hipótesis parecen más ejecutables cuando los jueces ven solo el texto; proporcionar metadatos del conjunto de datos reduce las puntuaciones de tractabilidad, sugiriendo que el texto por sí solo sobrestima la viabilidad.
  • Novedad: Muestra baja varianza en todos los factores, con los jueces teniendo dificultades para discriminar la novedad entre tipos de pares.
• Acuerdo Inter-Evaluador: El acuerdo es más alto para la tractabilidad ($\kappa_q \approx 0.47$) y más bajo para la importancia ($\kappa_q \approx 0.14$), confirmando que el "avance significativo" es la métrica más subjetiva y más sensible a los sesgos del modelo.

3. Salida Generada

El pipeline produjo 160 hipótesis estructuradas que abarcan cinco dominios principales: ecohidrología, glaciología, interacciones aerosol-nube, fenología de la vegetación y química estratosférica. Un ejemplo representativo vincula los datos de magnetómetro aéreo de IceBridge con la velocidad del hielo antártico derivada de InSAR para hipotetizar que las anomalías magnéticas subglaciares predicen patrones de fricción basal.

Significado y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

1. Fundamentación Estructurada: Introduce un pipeline de generación de hipótesis para la ciencia observacional que vincula cada hipótesis generada por LLM a un par específico de conjuntos de datos de la NASA, mediante un clasificador de grafos de conocimiento, yendo más allá de la recuperación de texto de forma libre.
2. Coherencia Científica: Demuestra que los emparejamientos novedosos predichos por el modelo son evaluados con una plausibilidad similar a los co-usos de la literatura real retenida, proporcionando evidencia de que el pipeline genera ideas científicamente coherentes más allá de la distribución de entrenamiento del modelo.
3. Limitaciones de la Evaluación: Proporciona evidencia empírica de que, si bien las clasificaciones de las hipótesis son estables, las puntuaciones absolutas en las evaluaciones de LLM como juez dependen fuertemente del modelo de juez específico y de la disponibilidad de datos contextuales. Esto resalta el riesgo de confiar en evaluaciones de un solo juez para la puntuación absoluta en el descubrimiento científico.

Los autores enfatizan que el sistema está diseñado para la ideación, no para la ejecución. Las 160 hipótesis sirven como semillas para la investigación liderada por humanos y requieren la verificación de expertos en el dominio y el análisis de datos real antes de ser tratadas como hallazgos. El trabajo no pretende reemplazar a los científicos humanos, sino aumentar la capa de descubrimiento al hacer emerger direcciones de investigación accionables y fundamentadas en datos que, de otro modo, permanecerían inexploradas en el vasto espacio combinatorio de los datos de observación de la Tierra.