Resumo Técnico: MMClima: Um Framework para Dados e Avaliação de Ciência Climática Multimodal

Declaração do Problema

A pesquisa sobre mudanças climáticas exige cada vez mais sistemas de IA capazes de raciocinar através de texto, conteúdo visual dinâmico e figuras científicas. No entanto, os benchmarks existentes de Questionamento e Resposta (QA) sobre o clima sofrem de três limitações primárias:

1. Escala e Escopo: A maioria dos conjuntos de dados é pequena (centenas a alguns milhares de itens), restringindo sua utilidade para treinamento em larga escala ou avaliação robusta.
2. Modalidade: Os recursos existentes são predominantemente unimodais (apenas texto) ou dependem de descrições textuais de figuras, em vez de exigir o raciocínio direto em nível de pixel da figura.
3. Validação: Conjuntos de dados gerados automaticamente carecem de validação humana rigorosa, levando a ruídos e benchmarks não confiáveis, enquanto conjuntos curados por especialistas são pequenos demais para os modelos de fundação modernos.

Consequentemente, Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs) de propósito geral têm dificuldade com tarefas climáticas de granularidade fina, como localização de subpainéis, fidelidade de sinais/unidades e atribuição de eventos, levando a um desempenho não confiável em contextos de tomada de decisão de alto risco.

Metodologia

Os autores introduzem o MMClima, um framework multimodal de larga escala projetado para abordar essas lacunas por meio de um pipeline modular e automatizado com validação de humano no ciclo (human-in-the-loop).

1. Fontes de Dados e Domínios

O corpus abrange cinco domínios centrais da ciência climática:

• Composição Atmosférica e Qualidade do Ar
• Dinâmica Oceânica e Costeira
• Sistemas Criosféricos e Glaciais
• Eventos Extremos Impulsionados pelo Clima
• Política Climática, Governança e Caminhos de Mitigação

Os dados são extraídos de:

• Textual: Artigos da Wikipedia (conhecimento fundamental estruturado) e transcrições de vídeos do YouTube (discurso explicativo).
• Visual: Figuras de Relatórios de Avaliação do Painel Intergovernamental sobre Mudanças Climáticas (IPCC) e Our World in Data (OWID), incluindo gráficos estatísticos, diagramas esquemáticos e mapas geoespaciais.

2. Pipeline de Geração de QA Automatizado

O framework emprega um pipeline de múltiplos estágios para gerar mais de 100.000 pares de QA:

• Recuperação e Segmentação: Artigos e transcrições são recuperados e segmentados usando janelas deslizantes (3200 caracteres para texto, 500 caracteres para transcrições) para preservar a coerência semântica.
• Extração de Alegações: Um LLM ($gpt-4.1-nano$) extrai alegações fatuais atômicas e verificáveis dos fragmentos.
• Deduplicação: As alegações são incorporadas (embedded) e filtradas usando similaridade de cosseno ($>0.9$) para remover redundâncias.
• Verificação de Fatos: Um módulo "FactGen" cruza as alegações com fontes autoritativas (ex: relatórios do IPCC) usando Geração Aumentada de Recuperação (RAG) para filtrar afirmações não verificáveis.
• Síntese de QA: As alegações validadas são transformadas em formatos diversos (Múltipla Escolha, Cloze, Formato Livre) usando um LLM diferente ($Llama-3.3-70B-Instruct-Turbo$) para desacoplar a extração da síntese e reduzir o viés.
• QA Visual (VQA): Uma abordagem híbrida combina a identificação manual de insights visuais por especialistas com a geração automatizada baseada em templates para criar perguntas fundamentadas em figuras.

3. Validação com Humano no Ciclo (Human-in-the-Loop)

Para garantir a confiabilidade científica, cinco especialistas de domínio investiram mais de 210 horas em revisão iterativa. Eles filtraram enunciados ambíguos, unidades obscuras, distratores implausíveis e vazamento de respostas (answer leakage). O acordo entre anotadores atingiu $\kappa = 0.83$. Este processo reduziu o ruído enquanto preservou a cobertura, resultando em um corpus final de 104.902 pares de QA validados por especialistas.

4. Benchmarking e Avaliação

O framework avalia 28 LLMs e 8 VLMs (tanto proprietários quanto de código aberto) em um cenário de zero-shot.

• Métricas: Acurácia para MCQ/Sim-Não; BERTScore para Formato Livre; e uma métrica composta (Correspondência Exata + ROUGE-1 + Similaridade de Cosseno) para tarefas de Cloze.
• Baseline: Os autores realizaram o ajuste fino (fine-tuning) do Llama 3.3 70B no conjunto de treinamento textual usando Aprendizado de Ajuste de Parâmetros Eficientes (LoRA) para criar o MMCLIMA-70B-TXT, um baseline adaptado ao domínio.

Principais Contribuições

1. Dataset Multimodal de Larga Escala: Um corpus de mais de 104 mil pares de QA validados por especialistas abrangendo texto, transcrições de vídeo e figuras científicas em cinco domínios climáticos.
2. QA Multimodal Sistemático: Integração de tarefas fundamentadas em figuras que exigem raciocínio visual direto, indo além das descrições textuais de imagens.
3. Framework de Geração de QA: Um pipeline modular que combina extração automatizada de alegações, verificação baseada em RAG e síntese desacoplada para garantir precisão e reduzir o viés.
4. Benchmarking Extensivo: A primeira avaliação sistemática de 28 LLMs e 8 VLMs na ciência do clima, cobrindo famílias de modelos tanto fechados quanto de código aberto.
5. Baseline Adaptado ao Domínio: Lançamento do MMCLIMA-70B-TXT, demonstrando a eficácia do ajuste fino em dados de alta qualidade e específicos do domínio.

Resultados

• QA Textual: O modelo ajustado MMCLIMA-70B-TXT alcançou um novo escore de estado da arte global de 78.24, superando modelos de fronteira fechados (ex: GPT-5-Nano com 69.66) e baselines fortes de código aberto (DeepSeek-Chat com 75.03).
• Dificuldade da Tarefa: O QA de formato livre foi considerado comparativamente fácil (scores >90 BERTScore), enquanto o QA de Cloze permaneceu como a tarefa mais discriminativa (scores <50 para todos os sistemas), servindo como um teste de estresse rigoroso para precisão lexical e numérica.
• QA Visual: VLMs de código fechado (ex: GPT-5) geralmente lideraram no geral, mas modelos de código aberto (ex: Pixtral-Large-2411) mostraram desempenho competitivo em subtarefas específicas.
• Adaptação de Domínio: O ajuste fino melhorou significamente o desempenho em diversas arquiteturas (testado em Qwen 2.5 7B e GPT OSS 20B), confirmando que os ganhos não são específicos da arquitetura, mas derivam da qualidade dos dados de supervisão.

Significância

O artigo posiciona o MMClima como um avanço substantivo na avaliação da ciência climática, abordando a necessidade crítica de um benchmark que seja simultaneamente de larga escala, multimodal e rigorosamente curado. Ao unificar texto, vídeo e figuras, ele fornece uma base para avaliar tanto modelos de linguagem quanto de linguagem-visão em aplicações climáticas de alto risco. Os autores enfatizam que, embora o conjunto de dados suporte a avaliação e o desenvolvimento mais confiáveis de sistemas para educação e análise climática, ele não é um substituto para o julgamento especializado em decisões de segurança crítica. O lançamento do conjunto de dados, do pipeline e dos pesos do modelo visa padronizar a avaliação multimodal e apoiar a evolução das capacidades de raciocínio climático na IA.