EVE: A Domain-Specific LLM Framework for Earth Intelligence

Resumen Técnico: EVE (Earth Virtual Expert)

1. Planteamiento del Problema

La investigación en Observación de la Tierra (EO) y Ciencias de la Tierra genera una enorme cantidad de conocimiento de alto valor, pero este se encuentra fragmentado en fuentes heterogéneas (artículos científicos, informes institucionales, datos abiertos) y formatos diversos. Esta fragmentación crea barreras significativas para practicantes y tomadores de decisiones, quienes requieren un acceso transparente y robusto a información científica para apoyar intervenciones ambientales.

Los modelos de lenguaje grandes (LLM) de propósito general carecen de la especificidad de dominio necesaria para manejar la terminología técnica compleja de las ciencias de la Tierra y, a menudo, sufren de alucinaciones (generación de hechos falsos) cuando se enfrentan a datos científicos rigurosos. Existe una necesidad crítica de un sistema que no solo recupere información, sino que pueda razonar, interpretar y fundamentar respuestas basadas en fuentes científicas confiables.

2. Metodología y Arquitectura del Sistema

El proyecto presenta EVE (Earth Virtual Expert), un marco de código abierto, modular y de extremo a extremo diseñado para desarrollar y desplegar LLMs especializados. La arquitectura se basa en cuatro pilares principales:

• Modelo Base y Adaptación (EVE-Instruct):

  • Se utiliza un modelo de 24 mil millones de parámetros basado en Mistral Small 3.2.
  • Estrategia de Entrenamiento: En lugar de un pre-entrenamiento continuo (CPT) puro, que podría degradar la capacidad de seguir instrucciones, se emplea una estrategia de fine-tuning intercalado. Se mezclan datos de texto de largo formato (corpus científico) con datos de formato de instrucción (QA, diálogos).
  • Síntesis de Datos: Se generó un conjunto de datos sintético masivo (10.7 mil millones de tokens) utilizando un pipeline de "Lectura Activa" (Active Reading) para reorganizar contenido científico, reforzar terminología y crear preguntas de múltiples saltos (multi-hop) y auto-referenciales.
  • Alineación: Se aplicó Optimización Directa de Preferencias en Línea (ODPO) para refinar la consistencia estilística y la adherencia a preferencias.

• Corpus de Datos:

  • Se curó un corpus de 5.3 mil millones de tokens extraído de 172 fuentes confiables (22 instituciones), incluyendo acceso abierto y contenido propietario de Wiley.
  • El pipeline de procesamiento incluye limpieza de OCR (usando Nougat para fórmulas y tablas), eliminación de duplicados, anonimización de datos personales (PII) y extracción de metadatos estructurados.

• Sistema de Generación Fundada (RAG):

  • Para mitigar alucinaciones, EVE integra un pipeline de Generación Aumentada por Recuperación (RAG).
  • Procesamiento: Los documentos se dividen en fragmentos de ~512 palabras preservando fórmulas LaTeX y tablas.
  • Recuperación: Se utiliza un sistema híbrido con reescritura de consultas (usando el propio EVE-Instruct), recuperación por similitud de embeddings (Qwen3-Embedding-4B) y re-ranking (Qwen3-Reranker-4B).
  • Detección de Alucinaciones: Se implementa un pipeline de verificación de hechos. El modelo actúa como evaluador para detectar alucinaciones; si se detectan, la consulta se reformula, se recupera nueva evidencia y se genera una respuesta revisada y más conservadora.

• Despliegue:

  • El sistema se desplegó como una aplicación completa (Frontend React, Backend FastAPI, base de datos vectorial Qdrant) accesible vía API y GUI, soportando escalado dinámico en GPUs NVIDIA A100/H100.

3. Contribuciones Clave

1. EVE-Instruct: El primer LLM de 24B parámetros especializado en Inteligencia de la Tierra, optimizado para razonamiento y respuesta a preguntas.
2. Corpus y Datos Sintéticos: Liberación de un corpus curado de 2.8B tokens (acceso abierto) y un conjunto de datos sintéticos de instrucción de 10.7B tokens.
3. Benchmarks Especializados: Creación de los primeros benchmarks manuales sistemáticos para EO y Ciencias de la Tierra, cubriendo:
   • Respuesta a Preguntas de Opción Múltiple (MCQA).
   • Detección de Alucinaciones.
   • QA de Texto Abierto (con y sin contexto).
   • Total de 5,693 muestras evaluadas.
4. Sistema de Producción: Un sistema chatbot funcional con RAG y detección de alucinaciones, desplegado y probado con usuarios reales.
5. Código Abierto: Liberación completa de modelos, datasets, código y benchmarks bajo licencias abiertas.

4. Resultados y Evaluación

• Rendimiento en Dominio: EVE-Instruct superó consistentemente a modelos de tamaño comparable (como Llama 4 Scout, Gemma3, Mistral Small 3.2 base) en los benchmarks específicos de EO.
  • Logró el mayor rendimiento en MCQA (precisión y IoU).
  • Obtuvo la mayor puntuación F1 en detección de alucinaciones (84.70), superando a modelos mucho más grandes.
  • Fue preferido en comparaciones pareadas (Win Rate) en QA de texto abierto.
• Preservación de Capacidades Generales: A diferencia de otros enfoques de especialización que degradan habilidades generales, EVE-Instruct mantuvo o mejoró sus capacidades en matemáticas, razonamiento, codificación y seguimiento de instrucciones en comparación con su modelo base (Mistral Small 3.2).
• Comparación con Modelos Grandes: En pruebas contra modelos masivos (hasta 235B parámetros), EVE-Instruct (24B) demostró ser altamente competitivo, ofreciendo un rendimiento similar con una fracción del costo computacional.
• Piloto de Usuario: El sistema fue utilizado por 350 usuarios (personal de la ESA, investigadores) durante un piloto de seis meses. El 83.2% de las interacciones activaron el pipeline RAG, demostrando su utilidad práctica.

5. Significado e Impacto

El trabajo de EVE representa un avance crucial hacia la "Acción Terrestre" (Earth Action), cerrando la brecha entre la generación de datos científicos y la toma de decisiones informadas.

• Eficiencia: Demuestra que los sistemas especializados bien ingenierizados pueden lograr un alto rendimiento práctico sin necesidad de escalar masivamente el tamaño del modelo, haciendo la IA científica más accesible y sostenible.
• Confiabilidad: La integración de RAG y detección de alucinaciones aborda el problema crítico de la fiabilidad en aplicaciones científicas, donde los errores factuales tienen consecuencias reales.
• Reproducibilidad: Al liberar los datos, el código y los benchmarks, EVE establece un nuevo estándar para el desarrollo de LLMs en dominios científicos, permitiendo a la comunidad avanzar sobre una base sólida y verificable.
• Futuro: El marco sienta las bases para futuras extensiones multimodales que integren razonamiento sobre imágenes satelitales y datos geoespaciales estructurados, moviendo la IA de la Tierra desde el texto hacia un agente científico autónomo.

En conclusión, EVE no es solo un modelo, sino un marco integral que valida la viabilidad de desplegar asistentes científicos especializados, fundamentados y de código abierto para resolver desafíos ambientales complejos.