EVE: A Domain-Specific LLM Framework for Earth Intelligence

1. O Problema

A pesquisa e a observação da Terra (EO - Earth Observation) geram volumes massivos de conhecimento de alto valor, mas este conhecimento permanece fragmentado em fontes heterogêneas e formatos diversos. Isso cria barreiras significativas para praticantes e decisores políticos, que frequentemente carecem da expertise profunda necessária para acessar e interpretar essas informações.

• Falta de Especialização: Modelos de Linguagem (LLMs) de propósito geral não possuem a especificidade de domínio nem a avaliação rigorosa necessárias para aplicações confiáveis em Ciências da Terra.
• Fosso de Confiança: Decisores necessitam de insights transparentes e cientificamente robustos, algo que sistemas tradicionais ou LLMs genéricos têm dificuldade em fornecer sem alucinações.
• Necessidade de Raciocínio Integrado: Há uma demanda crescente por sistemas que não apenas recuperem informações, mas que interpretem e raciocinem sobre fontes diversas para apoiar a "Ação Terrestre" (Earth Action).

2. Metodologia

O EVE (Earth Virtual Expert) é apresentado como um framework aberto e modular, end-to-end, para desenvolver e implantar LLMs especializados. A abordagem combina adaptação de domínio, fundamentação por recuperação (RAG) e mecanismos de confiabilidade.

A. Corpus e Dados

• Coleta de Dados: Foi curado um corpus massivo de 5,3 bilhões de tokens, extraído de 172 fontes confiáveis (incluindo publicações científicas, instituições como ESA/NASA e conteúdo proprietário da Wiley).
• Processamento: O pipeline utiliza ferramentas como Trafilatura (HTML) e Nougat (OCR para PDFs com fórmulas LaTeX) para extração. Inclui limpeza rigorosa (remoção de duplicatas, anonimização de PII via Microsoft Presidio) e normalização de sintaxe.
• Síntese de Dados: Para superar a escassez de dados instrucionais específicos, geraram-se 10,7 bilhões de tokens de dados sintéticos usando uma pipeline de "Leitura Ativa" (Active Reading) e diversos modelos LLM (Mistral, Qwen, DeepSeek) para criar pares de instrução-resposta (QA, multi-hop, alinhamento).

B. Modelo e Ajuste Fino (Fine-Tuning)

• Base: O modelo central é o EVE-Instruct, baseado no Mistral Small 3.2 (24B parâmetros, contexto de 128k).
• Estratégia de Treinamento: Para evitar o esquecimento catastrófico e manter as capacidades gerais, utilizou-se uma estratégia de ajuste fino intercalada:
  • Mistura de texto de longo formato (replay de domínio geral + texto sintético de EO) e dados formatados como instruções.
  • Uso de LoRA (Low-Rank Adaptation) e um agendamento de taxa de aprendizado intermediário entre ajuste de instrução (IFT) e pré-treinamento contínuo (CPT).
  • Fusão de checkpoints de dez execuções diferentes para equilibrar desempenho de domínio e geral.
• Alinhamento: Aplicação de Online Direct Preference Optimization (ODPO) para refinar consistência estilística e adesão a preferências.

C. Sistema de Geração Fundamentada (RAG) e Detecção de Alucinações

• Pipeline de Recuperação: Os documentos são divididos em chunks de ~512 palavras (estratégia de duas passagens para preservar tabelas e fórmulas). Utiliza-se Qwen3-Embedding-4B para vetores e Qdrant para armazenamento.
• Re-ordenação: Um reranker (Qwen3-Reranker-4B) seleciona os documentos mais relevantes.
• Pipeline de Detecção de Alucinações: Um pipeline em duas etapas onde o modelo atua como avaliador de fatos. Se uma alucinação é detectada, a consulta é reformulada, novos documentos são recuperados e uma resposta revisada é gerada, escolhendo-se a opção mais factual.

3. Principais Contribuições

1. EVE-Instruct: Um LLM especializado de 24B parâmetros otimizado para raciocínio e QA em Inteligência Terrestre.
2. Corpus e Dados Sintéticos: Liberação de um corpus curado de EO e Ciências da Terra (2,8B tokens abertos) e um conjunto massivo de dados sintéticos de instrução (10,7B tokens).
3. Benchmarks de Avaliação: Criação dos primeiros benchmarks manuais sistemáticos para o domínio (5.693 amostras), cobrindo QA de múltipla escolha, QA aberto (com e sem contexto) e detecção de alucinações.
4. Sistema Implantado: Um sistema de chat completo com RAG e detecção de alucinações, acessível via API e GUI, utilizado em um piloto de 6 meses.
5. Reprodutibilidade: Liberação aberta de modelos, código, datasets e benchmarks sob licenças abertas.

4. Resultados

• Desempenho em Domínio: O EVE-Instruct superou consistentemente modelos comparáveis (incluindo Llama4 Scout, Qwen3, Gemma3) nos benchmarks específicos de EO e Ciências da Terra, obtendo os melhores resultados em QA de múltipla escolha (IoU e Acurácia) e na detecção de alucinações (F1 Score).
• Preservação de Capacidades Gerais: Ao contrário de modelos que perdem habilidades gerais ao serem especializados, o EVE-Instruct manteve ou melhorou seu desempenho em tarefas gerais (Matemática, Codificação, Chamada de Ferramentas, Seguimento de Instruções) em comparação ao modelo base Mistral Small 3.2.
• Eficiência: Apesar de ser um modelo de 24B, ele superou modelos muito maiores (como GPT-4.1 e Qwen3 de 235B) em várias métricas de benchmarks específicos de domínio, demonstrando alta eficiência.
• Piloto Operacional: O sistema foi implantado com sucesso para 350 usuários (pesquisadores e técnicos da ESA), processando centenas de conversas com alta taxa de ativação do pipeline RAG (83,2%).

5. Significado e Impacto

O trabalho do EVE representa um avanço significativo na aplicação de IA para as ciências da Terra e observação da Terra:

• Ponte entre Dados e Decisão: Demonstra que é possível criar assistentes científicos confiáveis que reduzem o "fosso de confiança" entre dados complexos e decisores políticos, fornecendo respostas fundamentadas e verificáveis.
• Validação de Abordagens Específicas: Prova que sistemas cuidadosamente engenheirados, com adaptação de domínio e mecanismos de segurança (RAG + detecção de alucinações), podem superar modelos genéricos massivos em tarefas especializadas sem exigir um aumento drástico no tamanho do modelo.
• Padrão Aberto: Ao liberar dados, benchmarks e código, o projeto estabelece um novo padrão para o desenvolvimento reprodutível de LLMs científicos, encorajando a comunidade a construir sobre bases comuns e evitar a fragmentação de esforços.
• Futuro Multimodal: O framework estabelece a base para futuras expansões para plataformas multimodais capazes de raciocinar sobre imagens de satélite e dados geoespaciais estruturados, alinhando-se com a visão de "Ação Terrestre" da ESA.

Em resumo, o EVE não é apenas um modelo, mas um ecossistema completo que valida a viabilidade de assistentes de IA especializados, seguros e de código aberto para resolver desafios ambientais complexos.