💻 computer science

Sci-Rho: A Multilingual Visually-Grounded Symbolic Benchmark for STEM Problems

Este artigo apresenta o Sci-Rho, um benchmark simbólico multilingue e visualmente fundamentado que compreende 4.242 modelos de problemas de STEM executáveis em cinco disciplinas e sete idiomas, o qual revela lacunas significativas de robustez em Modelos de Linguagem-Visão de última geração quando avaliados contra variações de pior caso em vez de médias estáticas.

Autores originais: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está testando a habilidade de um novo aluno para resolver problemas de ciências. No passado, os pesquisadores entregavam ao aluno uma folha de exercícios única e estática, com uma imagem e uma pergunta. Se o aluno acertasse, ele passava. Mas este artigo argumenta que isso é como testar um motorista apenas em uma estrada reta e vazia. Isso não diz se ele consegue lidar com um buraco repentino, um desvio ou uma condição climática diferente.

Os autores deste artigo, Sci-ρ, decidiram construir um teste de condução muito mais difícil e dinâmico para alunos de IA (especificamente, Modelos de Linguagem-Visão ou VLMs).

Aqui está uma divisão simples do que eles fizeram e do que descobriram:

1. O Teste de "Mudança de Forma" (O Conjunto de Dados)

Em vez de dar à IA 606 perguntas estáticas de ciências, os pesquisadores construíram uma fábrica digital.

O Projeto: Eles criaram 606 "templates" de problemas em Matemática, Física, Química, Biologia e Ciência da Computação. Pense neles como projetos mestres.
A Fábrica: Eles escreveram um código de computador (Python) que pega esses projetos e imprime instantaneamente 10 versões ligeiramente diferentes de cada problema.
- Exemplo: Se um problema de matemática pede a área de um quadrado, a fábrica pode imprimir uma versão com um lado de 5, outra com 7, outra com uma cor diferente ou até mesmo com uma forma diferente.
O Toque Multilíngue: Eles não fizeram isso apenas em inglês. Eles traduziram as instruções para 7 idiomas (incluindo Suaíli, Hindi e Árabe), mantendo as imagens iguais.
O Resultado: Eles acabaram com 42.420 problemas únicos. É como dar à IA uma biblioteca enorme onde cada livro tem 10 edições diferentes, todas perguntando a mesma lógica central, mas parecendo ligeiramente diferentes.

2. A Armadilha do "Média" vs. "Pior Caso"

Os pesquisadores testaram 17 modelos de IA diferentes nesta biblioteca massiva. Eles observaram duas pontuações:

Precisão Média: Com que frequência a IA acertou a resposta em todas as 10 versões de um problema.
Precisão do Pior Caso: Com que frequência a IA acertou todas as 10 versões de um problema.

A Grande Descoberta:
Os modelos de IA pareceram ótimos na pontuação de "Média". Mas quando os pesquisadores olharam para a pontuação do "Pior Caso", os modelos desmoronaram.

A Analogia: Imagine um aluno que acerta 9 de 10 problemas de matemática. Ele parece inteligente. Mas se você pedir para ele resolver os mesmos 10 problemas novamente com números ligeiramente diferentes, e ele errar 4 deles desta vez, ele não está realmente "raciocinando" através da matemática. Ele provavelmente está apenas memorizando padrões ou adivinhando com base em como os números parecem.
O Achado: Mesmo os modelos de IA mais inteligentes e caros (como o GPT-5.4) mostraram um grande abismo. Eles podiam resolver um problema facilmente, mas se você mudasse a cor de um gráfico ou os números levemente, eles frequentemente falhavam. Modelos menores e mais baratos falhavam ainda mais.

3. A Barreira Linguística

Os pesquisadores verificaram se a IA tinha mais dificuldade quando as instruções estavam em um idioma diferente do inglês.

Os Grandes Modelos: Os modelos gigantes e caros eram como poliglotas; eles lidavam com inglês, chinês e suaíli quase tão bem quanto.
Os Pequenos Modelos: Os modelos menores e de código aberto eram como turistas que só falam inglês. Quando as instruções mudavam para um idioma menos comum (como o suaíli), o desempenho deles caía significamente. Eles pareciam ficar confusos apenas pela mudança de idioma, embora o problema científico fosse o mesmo.

4. O Problema dos "Olhos vs. Cérebro"

Os pesquisadores espiaram dentro de um dos modelos de IA para ver como ele "pensava". Eles mediram quanta atenção o modelo prestava à imagem versus ao texto.

O Achado: A atenção do modelo mudava dependendo do idioma.
- Quando o texto estava em chinês, o modelo dependia menos da imagem e mais do texto.
- Quando o texto estava em cazaque ou hindi, o modelo dependia fortemente da imagem.
A Metáfora: É como se a IA pensasse: "Eu não entendo bem este idioma, então vou apenas adivinhar com base no desenho". Quando ela entende o idioma perfeitamente, ela confia mais nas palavras. Isso sugere que a IA não está realmente "vendo" a imagem de uma forma humana; ela está apenas usando a imagem como uma muleta quando o texto está confuso.

5. Onde a IA Travou

Quando a IA falhou, os pesquisadores categorizaram os erros:

Leitura Errada da Imagem (63%): A IA não conseguiu contar os pontos em um diagrama ou ler os números em um gráfico corretamente.
Má Lógica (29%): A IA sabia a fórmula correta, mas a aplicou à coisa errada, ou inventou fatos que não estavam lá.
Erros de Matemática (8%): A IA acertou a lógica, mas errou a aritmética simples.

A Conclusão Final

O artigo conclui que testes estáticos estão nos enganando. Só porque uma IA consegue resolver um problema de ciências específico uma vez, não significa que ela entenda a ciência. Ela pode estar apenas reconhecendo um padrão que viu durante o treinamento.

Para saber verdadeiramente se uma IA é inteligente, precisamos balançar a mesa, mudar os números, trocar os idiomas e ver se ela ainda consegue resolver o problema. Se não conseguir, ela não está raciocinando; está apenas adivinhando. O Sci-ρ é a ferramenta projetada para balançar essa mesa.

Resumo Técnico: Sci-ρ: Um Benchmark Simbólico Multilíngue de Visão e Fundamentação para Problemas de STEM

Declaração do Problema

Os benchmarks atuais para avaliar Modelos de Linguagem de Visão (VLMs) em domínios de STEM sofrem de três limitações primárias:

Falta de Avaliação de Robustez: A maioria dos benchmarks existentes baseia-se em imagens estáticas e únicas. Eles falham em distinguir modelos que genuinamente raciocinam sobre o conteúdo visual daqueles que obtêm sucesso ao corresponder a características superficiais vistas durante o treinamento. A apresentação visual de um problema (por exemplo, coordenadas ou cores específicas) é frequentemente incidental à sua lógica subjacente, mas as avaliações atuais não testam se os modelos podem resolver variantes logicamente equivalentes com diferentes parâmetros visuais.
Escopo de Domínio Estrito: Os esforços existentes estão fortemente concentrados em Matemática e Física, deixando a Biologia, Química e Ciência da Computação amplamente inexploradas no contexto do raciocínio visualmente fundamentado, apesar de suas demandas visuais distintas (ex: estruturas moleculares, diagramas biológicos).
Viés Monolíngue: As avaliações são conduzidas quase exclusivamente em inglês, tornando incerto se as capacidades dos VLMs se transferem para os ambientes multilíngues onde a maioria dos alunos e profissionais realmente encontra o conteúdo de STEM.

Metodologia: O Benchmark Sci-ρ

Para abordar essas lacunas, os autores introduzem o Sci-ρ (Science Rhobustness), um benchmark dinâmico, simbólico e multilíngue para problemas de STEM visualmente fundamentados.

Construção do Conjunto de Dados

O conjunto de dados foi construído em duas etapas envolvendo especialistas do domínio, incluindo medalhistas de olimpíadas científicas e estudantes de graduação avançados:

Criação de Templates: 606 templates de problemas de alta qualidade foram criados em cinco disciplinas (Matemática, Física, Química, Biologia e Ciência da Computação) com base nos currículos Cambridge IGCSE e A-Level. Cada problema é implementado como uma classe Python executável. Essas classes geram dinamicamente instâncias de problemas variando:
- Valores numéricos: Alterando números no texto ou nas imagens.
- Padrões visuais: Alterando arranjos (ex: posições de objetos).
- Formas geométricas: Modificando dimensões ou formas.
- Esquemas de cores: Mudando as cores das soluções ou os tons dos objetos.
- Tipos de função: Alternando entre linear, quadrática, etc.
  Cada template garante pelo menos 10 variantes distintas.
Tradução: As descrições dos problemas foram traduzidas para seis idiomas adicionais (Indonésio, Chinês, Árabe, Hindi, Cazaque e Suaíli) usando tradução automática seguida de verificação rigorosa por falantes nativos. O controle de qualidade incluiu erros "honey-pot" para garantir a precisão do tradutor.

O conjunto de dados final compreende 42.420 instâncias de problemas únicas (606 templates × 10 variantes × 7 idiomas), cada uma pareada com soluções de verdade fundamental (ground-truth) e etapas de raciocínio passo a passo em LaTeX.

Estrutura de Avaliação

Os autores avaliaram 17 VLMs de última geração (incluindo GPT-5.4, Gemini 2.5, Qwen3.5, Llama 4, InternVL, entre outros) usando seis métricas:

Precisão de Caso Médio ( $A_{avg}$ ): A média de precisão em todas as variantes geradas.
Precisão de Pior Caso ( $A_{wst}$ ): A proporção de templates de problemas onde o modelo respondeu corretamente a todas as variantes. Isso mede a consistência.
Métricas de Nível de Passo: Scores de Recall ( $R$ ), Precisão ( $P$ ) e F1 ( $F$ ) para etapas de raciocínio, calculados comparando as saídas do modelo com a verdade fundamental usando um juiz LLM (GPT-5.4).
F1 de Pior Caso ( $F_{wst}$ ): O valor mínimo de F1 entre todas as variantes para um determinado template.
Razão de Atenção à Imagem (IAR): Uma análise mecanística medindo a atenção relativa que os VLMs alocam aos tokens de imagem versus tokens de texto durante a geração.

Resultados Principais

1. A Lacuna de Robustez

Existe uma lacuna significativa de desempenho entre a precisão de caso médio e a de pior caso em todos os modelos.

Modelos de Fronteira: Mesmo modelos de alto nível como GPT-5.4 e Gemini 2.5 mostram quedas de 10–28% na precisão de pior caso em comparação com sua precisão média. Por exemplo, a precisão do GPT-5.4 em Biologia cai de 72,2% (média) para 47,8% (pior caso).
Modelos Menores: Modelos menores de pesos abertos sofrem uma degradação severa. Em Biologia, modelos como InternVL3.5-4B e Molmo2-4B efetivamente colapsam sob condições de pior caso, com a precisão caindo para perto de 0% para certas variantes.
Sensibilidade de Arquitetura: O modelo Qwen3.5-122B-A10B (arquitetura MoE) mostrou uma precisão de pior caso significativamente menor em comparação com seu equivalente denso de 27B, sugerindo que a contagem de parâmetros por si só não garante robustez.

2. Desempenho Multilíngue

Modelos Proprietários/Grandes: Grandes modelos proprietários (GPT-5.4, Gemini 2.5) e grandes modelos de pesos abertos mostram uma degradação de desempenho quase nula entre idiomas, mantendo a robustez em configurações não inglesas.
Modelos Menores: Modelos menores de pesos abertos exibem quedas de desempenho notáveis em idiomas não ingleses, particularmente em idiomas de baixos recursos como o Suaíli. Isso sugere que a representação do corpus de pré-treinamento influencia fortemente a robustez multilíngue.

3. Análise de Etapas de Raciocínio

A avaliação de nível de passo revela que a fragilidade do raciocínio é um fenômeno geral, não limitado a modelos menores.

Consistência: Existe uma lacuna consistente entre o F1 médio e o F1 de pior caso. Mesmo o GPT-5.4 cai de 13 a 20 pontos no score F1 sob condições de pior caso.
Dificuldade por Disciplina: A Biologia continua sendo a disciplina mais desafiadora para todos os modelos, seguida por Matemática e Ciência da Computação, que apresentam as maiores quedas na consistência de nível de passo.

4. Insights Mecanísticos (Cabeças de Atenção)

A análise das cabeças de atenção do modelo Qwen3-VL-8B-Instruct revela uma variação translinguística substancial na Razão de Atenção à Imagem (IAR):

Dependência de Idioma: O modelo depende menos do contexto visual quando estimulado em Chinês (menor IAR) e significativamente mais quando estimulado em Cazaque e Hindi (maior IAR).
Hipótese: Os autores hipotetizam que a maior familiaridade com o idioma permite que o modelo dependa mais das entradas textuais, enquanto a menor familiaridade força uma dependência compensatória de entradas visuais.

5. Modos de Falha

A inspeção manual das falhas do GPT-5.4 identificou três tipos principais de erro:

Erros de leitura de figuras (63,5%): Falha em extrair valores numéricos precisos ou erro na contagem de objetos.
Erros de conhecimento (28,8%): Raciocínio lógico falho, alucinação de informações inexistentes ou aplicação de teoremas incorretos.
Erros de cálculo (7,7%): Erros aritméticos apesar da lógica correta.

Significância e Alegações

O artigo afirma que o Sci-ρ é o primeiro benchmark de robustez simbólica e multilíngue para o raciocínio de STEM visualmente fundamentado. Sua principal significância reside na mudança do paradigma de avaliação de testes estáticos de instância única para uma avaliação dinâmica baseada em variantes.

Os autores argumentam que:

Benchmarks estáticos são insuficientes: Eles falham em distinguir o raciocínio genuíno do pareamento de padrões superficiais. A grande lacuna entre a precisão média e a de pior caso expõe a fragilidade dos atuais VLMs.
Robustez é uma métrica crítica: A verdadeira capacidade em STEM exige desempenho consistente através de perturbações visuais e numéricas, uma capacidade atualmente ausente mesmo em modelos de fronteira.
A robustez multilíngue depende do modelo: Enquanto grandes modelos generalizam bem entre idiomas, modelos menores lutam, destacando a necessidade de melhor pré-treinamento multilíngue ou ajustes arquiteturais.
A fundamentação visual é inconsistente: A variação na alocação de atenção entre idiomas sugere que os VLMs não integram uniformemente as informações visuais e textuais, potencialmente dependendo do texto quando familiarizados e da imagem quando não familiares.

O trabalho conclui que avaliar os VLMs além dos benchmarks estáticos é essencial para medir sua verdadeira qualidade e prontidão para aplicações rigorosas de STEM.