Resumo Técnico: SciMIF

Definição do Problema

A aplicação de Modelos de Linguagem de Grande Escala Multimodais (MLLMs) em domínios científicos evoluiu de perguntas e respostas básicas para paradigmas complexos, como agentes científicos autônomos. No entanto, os métodos de avaliação atuais concentram-se primordialmente na corretude científica (se a resposta final é factualmente precisa) em vez da adesão à instrução (se o modelo satisfaz restrições operacionais explícitas).

Benchmarks de seguimento de instruções de propósito geral existentes (ex: IF-Eval, FollowBench) avaliam restrições de formato, comprimento e estilo, mas carecem de restrições científicas específicas do domínio. Por outro lado, os benchmarks científicos existentes (ex: SciBench, MMMU) avaliam raciocínio e conhecimento, mas não testam sistematicamente a capacidade de um modelo em seguir instruções operacionais complexas e de múltiplas etapas. Essa lacuna obscurece duas capacidades distintas: um modelo pode produzir uma resposta cientificamente correta que viola unidades ou formatos solicitados, ou pode seguir estritamente um formato enquanto depende de um raciocínio científico inválido. Além disso, o seguimento de instruções científicas é unicamente desafiador devido à sua dependência de conhecimento específico do domínio, variações semânticas interdisciplinares e dependência frequente de entradas multimodais (ex: estruturas moleculares, imagens de microscopia).

Metodologia

1. Taxonomia de Restrições Científicas

Os autores introduzem o SciMIF (Scientific Multimodal Instruction Following), um benchmark projetado para avaliar MLLMs em cinco disciplinas científicas: Química, Geografia, Biologia, Ciência dos Materiais e Física.

Com base em uma análise de 22 tarefas distintas nestas disciplinas, os autores construíram uma taxonomia hierárquica composta por:

• 10 Grupos de Restrições Funcionais: Estes capturam requisitos compartilhados entre domínios, incluindo Procedimento, Número, Método, Unidade, Formato, Terminologia, Precisão, Letra, Estrutura e Seleção.
• Instanciações Específicas de Disciplina: Embora os grupos funcionais sejam compartilhados, seus significados concretos variam. Por exemplo, uma restrição de "Terminologia" exige nomenclatura molecular válida em Química, endereços hierárquicos em Geografia e técnicas de caracterização em Ciência dos Materiais.
• Inventário de Restrições: O benchmark final inclui 42 restrições distintas derivadas dos 10 grupos, adaptadas às convenções de cada disciplina.

2. Pipeline de Construção de Dados

O SciMIF é construído aumentando sistematicamente 13 conjuntos de dados científicos existentes (totalizando 2.527 amostras) através de um pipeline de quatro etapas:

1. Preparação de Sementes: Seleção de amostras com uma pergunta ($q$), entrada visual opcional ($I$), resposta de referência ($a$) e tipo de tarefa ($t$).
2. Reconhecimento de Restrições: Identificação de restrições que já estão implícitas na consulta original para evitar redundância.
3. Injeção de Restrições:
   • Restrições Científicas: Injeção de restrições específicas do domínio compatíveis com o tipo de tarefa.
   • Restrições Gerais: Injeção de restrições operacionais gerais (ex: formato de saída, capitalização) sem alterar a corretude científica da resposta de referência.
   • Validação: Uma verificação automática dupla garante que a restrição injetada esteja presente na consulta e que a resposta de referência permaneça válida.
4. Verificação Humana: Dois anotadores revisam as amostras quanto à coerência lógica, fluência e fidelidade às restrições. Amostras problemáticas são revisadas ou descartadas.

3. Métricas de Avaliação

O benchmark utiliza três métricas para avaliar o desempenho:

• Taxa de Satisfação de Restrições (CSR): A proporção média de restrições satisfeitas em todas as instruções.
• Taxa de Satisfação de Instrução (ISR): A proporção de instruções onde todas as restrições associadas são completamente satisfeitas.
• Razão de Seguimento de Requisitos Decompostos (DRFR): Mede a conformidade ao nível de requisitos individuais decompostos em relação ao número total de restrições.

A verificação utiliza métodos baseados em scripts (para verificações determinísticas como formato e unidades) e protocolos de LLM-como-Juiz (para verificações semânticas como etapas de raciocínio).

Principais Resultados

1. Disparidades de Desempenho entre Disciplinas

A avaliação de modelos de ponta de código fechado (ex: GPT-5.2, Claude-Sonnet-4.6) e código aberto (ex: Qwen3.5, InternVL3.5) revela variações significativas:

• A Química representa o maior desafio, com o modelo de maior desempenho (GPT-5.2) alcançando um ISR de apenas 46,33%.
• Biologia e Ciência dos Materiais apresentam desempenho superior (ISR ~72–78%).
• A Geografia também apresenta dificuldades significativas devido às hierarquias espaciais.
• A Física geralmente produz os maiores scores de DRFR (média de 92,2%).

2. Escala do Modelo e Arquitetura

• Paradoxo de Escala: O aumento dos parâmetros do modelo não gera melhorias lineares na adesão às instruções. Por exemplo, na série Qwen3.5, o modelo de 122B teve um desempenho ligeiramente inferior (50,41% ISR) ao de 27B (51,37% ISR).
• Código Aberto vs. Código Fechado: Modelos de código fechado superam consistentemente os de código aberto em todas as disciplinas, sugerindo vantagens em qualidade de dados e estratégias de alinhamento.

3. Análise de Domínio de Restrições

• Restrições Gerais vs. Científicas: Os modelos apresentam desempenho significativamente melhor em restrições científicas (semanticamente acopladas à tarefa) do que em restrições gerais (formatação/estrutura). Para o GPT-5.2, o DRFR em restrições científicas foi de 88,74% contra 74,65% em restrições gerais.
• Desafios de Grão Fino: Os modelos têm maior dificuldade com as restrições de Letra e Número, que exigem processamento simbólico preciso e reconhecimento de entidades específicas do domínio (ex: contar ligações químicas vs. contar caracteres).

4. Corretude vs. Adesão

Uma descoberta crítica é o fraco acoplamento entre a corretude científica e a adesão à instrução:

• Apenas ~30% das amostras alcançaram tanto a corretude científica quanto a adesão total à instrução (Correto e Seguido).
• Aproximadamente 20% das amostras foram cientificamente corretas, mas violaram as restrições (Correto, mas Violado).
• Mais de 30% das amostras seguiram as instruções, mas produziram respostas científicas incorretas (Incorreto, mas Seguido).
• A análise estatística (teste $\chi^2$ de Pearson) confirma que, embora a corretude e a adesão estejam positivamente associadas, a força dessa associação é modesta ($\phi$ variando de 0,06 a 0,20), indicando que são capacidades distintas.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Taxonomia Derivada de Especialistas: O estabelecimento de uma taxonomia abrangente de restrições científicas abrangendo cinco disciplinas e dez grupos funcionais, capturando tanto capacidades compartilhadas quanto requisitos específicos de domínio.
2. Framework Escalável: Uma metodologia para transformar tarefas científicas existentes em avaliações de seguimento de instruções, reconhecendo restrições implícitas e injetando restrições compatíveis sem alterar as respostas de referência.
3. Benchmark e Avaliação: A construção do SciMIF e a avaliação de MLLMs representativos, o que revela:
   • Variação disciplinar substancial no desempenho.
   • Dificuldades severas com restrições de grão fino.
   • Uma clara lacuna entre a corretude científica e a adesão à instrução.

Os autores concluem que os MLLMs atuais ainda não são confiáveis para aplicações científicas rigorosas que exigem restrições operacionais estritas. Eles sugerem que pesquisas futuras devem focar no alinhamento de instruções consciente do domínio, integrando ferramentas externas (ex: motores simbólicos) para restrições de grão fino, e otimizando para o alcance conjunto de corretude e adesão, em vez de tratá-los isoladamente.