💬 NLP

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

Este artigo demonstra que, para modelos multilingues de visão-linguagem de pequeno porte, os ganhos de escalonamento em tempo de teste são impulsionados principalmente por garantir a capacidade de análise do prompt e orçamentos de decodificação suficientes, em vez de mecanismos complexos de busca ou verificação, sendo o modelo de política subjacente o fator mais significativo para alcançar o estado da arte em benchmarks visuais de múltipla escolha.

Autores originais: Spiros Baxevanakis, Peng-Jian Yang

Publicado 2026-07-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Spiros Baxevanakis, Peng-Jian Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça multilingue complexo, onde as pistas estão escondidas dentro de imagens. Você tem uma equipe de pequenos robôs inteligentes (chamados de "Modelos de Visão-Linguagem") para ajudar. Por muito tempo, as pessoas pensaram que o segredo para resolver esses quebra-cabeças era construir uma máquina supercomplexa que pudesse verificar cada etapa do raciocínio do robô, ou fazer o robô reescrever suas próprias respostas até que fossem perfeitas.

Mas este artigo, escrito por pesquisadores da Universidade de Amsterdã para o concurso ImageCLEF 2026, diz: "Calma lá! O segredo não é uma máquina sofisticada; é apenas dar aos robôs mais tempo para terminarem suas frases."

A Grande Descoberta: Mais Palavras, Menos Pensamento

Os pesquisadores testaram várias estratégias diferentes em um conjunto massivo de questões de exames (11 idiomas diferentes, 20 disciplinas) para ver o que realmente ajuda esses pequenos robôs a melhorarem seu raciocínio. Eles descobriram que o mais importante não era o quão inteligente era o método de busca, mas o quão longo o robô era permitido falar antes de ter que parar.

Pense nisso como um estudante fazendo uma prova.

O Jeito Antigo: Você diz ao estudante: "Pense bem, revise seu trabalho e escreva uma redação perfeita", mas você só dá a ele 1.000 palavras para fazer isso. Ele pode até descobrir a resposta certa em sua mente, mas fica sem espaço antes de conseguir escrever a letra final (A, B, C, D ou E). Ele acerta o raciocínio, mas falha no teste porque nunca se comprometeu com uma resposta.
O Jeito Novo: Você diz ao estudante: "Apenas escreva seus pensamentos, mas você pode usar até 2.048 palavras". De repente, ele tem espaço suficiente para terminar sua história e realmente escrever a letra da resposta.

O artigo mediu isso cuidadosamente. Quando eles dobraram o limite de palavras de 1.000 para 2.048 tokens, a precisão saltou 3,7 pontos percentuais. Isso é uma grande vitória! Mas quando tentaram obter mais respostas pedindo ao robô para gerar 16 cadeias de pensamento diferentes em vez de 8 (dobrando o número de tentativas), a pontuação subiu apenas 0,15 ponto percentual. É como pedir a um estudante para escrever a mesma redação 16 vezes em vez de uma; não ajuda muito se ele já estava travado no limite de palavras.

O Que Não Funcionou (As Ideias "Legais" que Falharam)

Os pesquisadores tentaram alguns truques muito sofisticados que parecem que deveriam funcionar, mas os dados mostraram que não funcionaram.

O Treinador "Passo a Passo": Eles tentaram usar um "Modelo de Recompensa de Processo" (PRM) especial para atuar como um treinador, verificando cada etapa do raciocínio do robô e guiando-o como uma busca em feixe (beam search). Eles pensaram que isso seria melhor do que apenas deixar o robô adivinhar livremente. Resultado: Na verdade, teve um desempenho pior do que o método simples, caindo 0,39 pontos percentuais enquanto custava 8,7 vezes mais poder de computação. Acontece que o treinador se confundiu com as imagens e não conseguiu guiar o robô de volta ao caminho certo.
O Robô "Juiz": Eles tentaram adicionar um segundo robô para atuar como juiz, lendo todas as respostas e escolhendo a melhor. Eles testaram dois tipos: um que foi treinado para ser um crítico e outro que era apenas um modelo generativo inteligente. Resultado: Nenhum superou o método simples de apenas fazer um "voto de maioria" (escolher a resposta que apareceu com mais frequência). Na verdade, no robô mais inteligente, os juízes tornaram as coisas ligeiramente piores. O artigo sugere que isso ocorre porque os juízes não consegam distinguir entre uma resposta certa e uma errada quando as respostas eram muito próximas.
Autocorreção: Eles investigaram se deixar o robô corrigir seus próprios erros ajudava. Resultado: Não. Nessa escala, deixar o robô reescrever suas próprias respostas muitas vezes o tornava pior.

O Verdadeiro Herói: O Próprio Robô

O maior impulso não veio de uma nova estratégia, mas sim de trocar o robô. Quando mudaram de um modelo mais antigo (Qwen2.5-VL-7B) para um modelo mais novo e menor (Qwen3.5-4B), a pontuação saltou 11,4 pontos percentuais. Isso sugere que ter um "cérebro" mais inteligente (o modelo de política) importa muito mais do que ter um "processo de pensamento" (o método de busca) sofisticado.

O Truque do "Conserto"

Houve um pequeno problema: às vezes, mesmo com palavras suficientes, o robô escrevia uma ótima explicação, mas esquecia de escrever a letra final (A, B, C, etc.). Os pesquisadores descobriram um truque simples de "reparo guiado": se o robô não escrevesse uma letra, eles simplesmente o forçavam a dizer "Resposta: [A/B/C/D/E]" por um único token. Isso resolveu o problema para os 2,67% restantes de questões que estavam falhando, efetivamente fechando a lacuna.

A Pontuação Final

Ao combinar o robô mais novo (Qwen3.5-4B), dando a ele um limite generoso de palavras (2.048 tokens), pedindo 16 tentativas diferentes e usando o truque simples de "conserto", a equipe alcançou 84,1% de precisão no teste final. Isso os colocou em primeiro lugar no ranking.

A Lição Principal

A principal lição aqui é que, para pequenos modelos de visão-linguagem, detalhes de engenharia importam mais do que algoritmos complexos. Se você der ao modelo espaço suficiente para terminar seu pensamento (o orçamento de tokens) e um comando que o force a se comprometer com uma resposta, você terá melhores resultados do que se tentar construir um sistema complexo para verificar seu trabalho. O artigo sugere que, até que tenhamos modelos melhores, a melhor estratégia é simplesmente deixar o modelo falar por mais tempo e corrigir sua formatação, em vez de tentar superá-lo com árvores de busca complicadas ou juízes.

Resumo Técnico: Nika na Tarefa ImageCLEF 2026 de Raciocínio Multimodal

1. Definição do Problema

O artigo aborda o desafio de aplicar o Escalonamento em Tempo de Teste (Test-Time Scaling - TTS) a pequenos modelos de linguagem de visão (VLMs) de pesos abertos (≤7B parâmetros) em questões de múltipla escolha (MCQs) visuais multilíngues. Embora o TTS tenha se mostrado eficaz para grandes modelos de linguagem apenas de texto, sua eficácia em VLMs abertos sob restrições computacionais rigorosas (uma única GPU A40) permanece incerta. Os autores investigam se técnicas avançadas de inferência — como busca estruturada, modelos de recompensa de processo (PRMs) e críticos generativos — podem superar estratégias simples de amostragem paralela no benchmark EXAMS-V, que abrange 13 idiomas e 20 disciplinas escolares.

2. Metodologia

Os autores avaliaram duas políticas de pesos abertos: Qwen2.5-VL-7B-Instruct e a mais nova e menor Qwen3.5-4B. Eles compararam dois pipelines primários através de dois eixos de escalonamento (contagem de cadeias paralelas e orçamento de tokens por cadeia):

Autoconsistência Plana (Self-Consistency - SC): O modelo gera $N$ cadeias de raciocínio independentes condicionadas a um prompt de Cadeia de Pensamento (Chain-of-Thought - CoT) que termina com uma pista de resposta padronizada (MMMU closer). A resposta final é determinada por voto majoritário, com desempate por log-probabilidade.
Busca Estruturada (Descrever-Depois-Raciocinar com PRM): Um pipeline onde o modelo primeiro gera descrições fundamentadas na imagem, seguido por um raciocínio passo a passo guiado por uma busca em feixe guiada por PRM (PRM-guided beam search - PRM-BAS). O PRM (Qwen-VL-PRM-7B) pontua os passos de raciocínio enquanto mantém acesso à imagem original.
Seletores: Métodos de seleção post-hoc foram testados contra o voto majoritário, incluindo um crítico generativo sem treinamento (training-free) e um PRM discriminativo (pontuação de um único exemplo/one-shot).
Intervenções de Engenharia:
- Formato de Prompt: A mudança para uma pista de resposta padrão para reduzir falhas de parsing.
- Reparo Guiado (Guided Repair): Um mecanismo para forçar a geração de uma letra de resposta via restrições de guided_choice quando as cadeias falham em se comprometer com uma resposta.
- Escalonamento: Variação sistemática da contagem de cadeias ( $N \in \{8, 16\}$ ) e do orçamento de tokens (1k vs. 2k tokens).

Todos os experimentos utilizaram vLLM para decodificação paralela em lote em uma única GPU A100-40 GB, aderindo às restrições da tarefa compartilhada ImageCLEF 2026.

3. Principais Descobertas e Resultados

A Dominância da Engenharia e da Política sobre a Busca

A descoberta mais significativa é que detalhes de engenharia e a escolha da política dominam as estratégias de busca.

Capacidade de Parsing: Um formato de prompt inicial fez com que ~9% das cadeias de raciocínio falhassem em produzir uma letra de resposta. A mudança para uma pista padrão e a implementação de um passo de reparo guiado reduziram as falhas de parsing para quase zero, recuperando uma precisão significativa.
Orçamento de Tokens vs. Contagem de Cadeias: Aumentar o orçamento de tokens por cadeia de 1.000 para 2.048 tokens rendeu um ganho de +3,7 pontos percentuais (pp). Em contraste, dobrar o número de cadeias de 8 para 16 adicionou apenas +0,15 pp. Os autores concluem que garantir que as cadeias tenham orçamento suficiente para concluir o raciocínio é muito mais crítico do que amostrar mais cadeias.
Upgrade de Política: A mudança de Qwen2.5-VL-7B para Qwen3.5-4B resultou em um ganho de +11,4 pp, o maior fator individual no estudo.

Ineficácia de Buscas Complexas e Seletores

Busca Estruturada: A busca em feixe guiada por PRM (PRM-BAS) desempenhou abaixo da autoconsistência plana por -0,39 pp, enquanto custou 8,7 vezes mais computação. A pontuação de nível de passo do PRM saturou rapidamente, levando a uma baixa diversidade no beam search (71,9% das questões tinham todos os feixes concordando na mesma letra), tornando a busca ineficaz.
Seletores: Nem o crítico generativo sem treinamento, nem o PRM discriminativo superaram o simples voto majoritário. Em pools de alto desempenho (Q3.5), ambos os seletores produziram resultados negativos ou nulos, muitas vezes corrigindo menos erros do que introduziam.

Desempenho Estratificado

Idiomas: Os ganhos de precisão do aumento do orçamento de tokens concentraram-se em Inglês (+17,3 pp) e Chinês (+8,5 pp). Idiomas com alta concordância de cadeias (ex: Chinês, onde 22,3% das questões tinham concordância unânime de 8/8) viram a SC regredir ou estagnar porque o voto majoritário amplificou erros compartilhados em vez de corrigir erros independentes.
Disciplinas: Disciplinas de STEM beneficiaram-se mais do TTS, enquanto disciplinas com muito texto (ex: Estudos Islâmicos) mostraram pouco progresso, sugerindo um gargalo no conhecimento de domínio, não na diversidade de raciocínio.

4. Desempenho Final

A melhor configuração — Qwen3.5-4B com Autoconsistência ( $N=16$ ), um orçamento de 2.048 tokens e reparo guiado — alcançou:

81,64% no conjunto de validação completo do EXAMS-V.
84,06% no split de teste reservado do ImageCLEF 2026.
Primeiro lugar no ranking de Visual MCQ, ocupando o primeiro lugar em todos os seis idiomas de teste.

5. Significância e Alegações

O artigo alega que, para pequenos VLMs abertos sob orçamentos de computação restritos:

O TTS é eficaz, mas específico: Os benefícios do TTS vêm principalmente de permitir que as cadeias concluam (aumentando o orçamento de tokens) e melhorar a confiabilidade da extração (capacidade de parsing), não de algoritmos de busca complexos ou seletores externos.
O Substrato da Política é Chave: Atualizar o modelo base gera ganhos maiores do que qualquer estratégia de inferência.
Limites dos PRMs: Os PRMs atuais treinados em matemática ou domínios específicos podem não generalizar bem para o raciocínio multimodal e multilíngue, particularmente quando falham em distinguir entre passos de raciocínio corretos e incorretos com sinal suficiente para guiar a busca.
Engenharia sobre Algoritmo: Na escala de ≤7B, o "substrato de engenharia" (formatos de prompt, orçamentos de decodificação) e a escolha do modelo são mais impactantes do que mecanismos sofisticados de busca ou verificação.

Os autores concluem que trabalhos futuros devem focar em desacoplar a percepção do raciocínio e treinar PRMs melhor calibrados em conteúdo multilíngue e não matemático, em vez de depender dos atuais métodos de escalonamento baseados em busca.