Resumo Técnico: É o Formato de Decodificação, Não a Perturbação

Declaração do Problema

O escalonamento em tempo de teste (test-time scaling), uma técnica que melhora o raciocínio em Grandes Modelos de Linguagem (LLMs) ao amostrar múltiplas soluções candidatas e selecionar a melhor, transferiu-se mal para Modelos de Linguagem-Visão (VLMs). Trabalhos recentes indicam que, para VLMs, a votação por maioria simples frequentemente supera métodos de seleção sofisticados baseados em autoverificação ou autoconsistência. O problema central é que, na camada de seleção, uma resposta fundamentada na imagem e um palpite confiante derivado de vieses linguísticos (language priors) frequentemente parecem indistinguíveis para o modelo. Sinais de seleção padrão (ex: frequência de ocorrência ou confiança verbalizada) falham porque não testam explicitamente se uma resposta depende dos pixels da entrada visual.

Soluções existentes para este "vazamento na camada de seleção" (selection layer leak) geralmente exigem ou treinamento extensivo (aprendizado por reforço, currículos de uso de ferramentas) ou acesso aos internos do modelo (mascaramento de atenção, redes verificadoras externas). Há uma carência de mecanismos de seleção sem rótulos e sem treinamento que operem exclusivamente em tempo de inferência em hardware de consumo.

Metodologia

Os autores propõem e avaliam a Seleção Baseada em Perturbação (Pgs), uma regra sem rótulos e sem treinamento projetada para criar um sinal de seleção que não pode ser computado sem a imagem.

Seleção Baseada em Perturbação (Pgs)

A Pgs pontua respostas candidatas medindo sua estabilidade sob perturbações que preservam o rótulo da entrada da imagem.

1. Amostragem: O modelo gera $N$ respostas candidatas iniciais com raciocínio de Cadeia de Pensamento (CoT) a partir da imagem original.
2. Perturbação: A imagem de entrada é transformada usando um conjunto de perturbações que preservam o rótulo ($T$), como recortar em direção a regiões relevantes, mascarar fundos ou aplicar jitter fotométrico/geométrico suave.
3. Rederivação: Para cada visão perturbada, o modelo gera $K$ amostras curtas, apenas com a resposta (sem CoT).
4. Pontuação: Uma resposta candidata $c$ recebe uma pontuação de suporte fundamentada $g(c)$, que combina a contagem de votos original com uma soma ponderada de sua frequência de rerederivação através de visões perturbadas.
   • Matematicamente, $g(c) = \text{votos}_{\text{original}} + \lambda \sum \rho(c | t_m(x), q)$, onde $\rho$ é a pontuação de consistência nas visões perturbadas.
5. Seleção: A resposta com o maior $g(c)$ é selecionada.
   • Nota: Se o conjunto de perturbação for vazio, a Pgs reduz-se à votação por maioria padrão.

O Controle: MatchedCtrl

O artigo identifica um confundimento crítico em avaliações anteriores: comparar a Pgs (que utiliza amostras curtas, sem CoT, para as perturbações) contra a Votação por Maioria Padrão (que utiliza apenas amostras longas de CoT) conflagra o mecanismo de seleção com uma mudança no formato de decodificação (CoT vs. curto).

Para isolar o efeito da perturbação, os autores introduzem o MatchedCtrl:

• Ele utiliza as mesmas $N$ amostras de CoT como o baseline.
• Adiciona o mesmo número de amostras curtas, sem CoT ($M \times K$) como a Pgs.
• Crucialmente, essas amostras curtas extras são extraídas da imagem original, não perturbada.
• Isso garante que qualquer diferença de desempenho entre a Pgs e o MatchedCtrl seja devida exclusivamente ao roteamento de perturbação, não ao formato de decodificação ou ao orçamento de respostas curtas.

Principais Contribuições

1. Identificação de um Confundimento de Formato de Decodificação: O artigo demonstra que os ganhos relatados de seletores baseados em perturbação sobre a votação por maioria apenas de CoT são frequentemente artefatos da mudança de traços longos de CoT para traços curtos, apenas de resposta.
2. Controle MatchedCtrl: Um novo protocolo experimental que isola o mecanismo de perturbação ao igualar o orçamento e o formato de decodificação (curto, sem CoT) na imagem original.
3. Resultado Empírico Negativo: Sob o controle MatchedCtrl, a Pgs não mostra vantagem significativa sobre o controle em nenhum benchmark, incluindo aqueles que exigem fundamentação visual.
4. Distinção entre Diagnóstico e Roteamento: O artigo estabelece que, embora a consistência de perturbação (Stability Gap) seja um diagnóstico válido de dependência visual (o escore muda quando a imagem é alterada), ela não funciona como um sinal de roteamento utilizável para melhorar a precisão da seleção uma vez que o formato de decodificação é controlado.
5. Ferramental Aberto: Lançamento de código e ferramentas de auditoria (incluindo intervalos de confiança de bootstrap pareados) para permitir que a comunidade audite futuras alegações de seleção baseada em perturbação.

Resultados

Os autores avaliaram a Pgs, a Votação por Maioria (MV) e o MatchedCtrl em quatro benchmarks: TextVQA, MATH-Vision, MMMU e ViLP, utilizando Qwen2.5-VL-7B e LLaVA-OneVision-7B.

• Pgs vs. MV (Comparação Injusta): A Pgs pareceu superar significativamente a Votação por Maioria padrão no TextVQA (+31,8 pontos percentuais) e mostrou ganhos modestos em outros lugares.
• Pgs vs. MatchedCtrl (Comparação Justa): Quando comparada ao MatchedCtrl (que gasta o mesmo orçamento de "resposta curta" na imagem original), a Pgs não mostrou vantagem confiável em nenhum benchmark.
  • No TextVQA, o MatchedCtrl (87,6%) na verdade superou ligeiramente a Pgs (86,2%).
  • No ViLP (um benchmark especificamente desenhado para testar a fundamentação contra vieses de linguagem), o MatchedCtrl (53,7%) superou a Pgs (52,3%).
• Análise do Stability Gap: O stability gap de "preservar/destruir" (a diferença nos escores entre as entradas originais e as esvaziadas/destruídas) foi real e dependente da imagem (até +0,48). No entanto, um grande gap não previu vitórias por instância da Pgs sobre o MatchedCtrl.
• Ablações: O esvaziamento das entradas de perturbação colapsou o desempenho da Pgs em tarefas visuais, confirmando que o sinal é dependente da imagem. No entanto, isso não se traduziu em ganhos de seleção sobre o controle.

Significância e Alegações

O artigo conclui que a consistência de perturbação é, no máximo, um diagnóstico parcial de dependência visual e, por si só, não é um sinal de seleção utilizável uma vez que o formato de decodificação é controlado.

• Reavaliando Alegações: Os ganhos relatados na literatura contra a votação por maioria apenas de CoT provavelmente superestimam a eficácia dos métodos baseados em perturbação porque não levam em conta os benefícios da agregação de respostas curtas no original.
• O Achado Nulo: O estudo fornece um resultado nulo mensurado: simplesmente adicionar a rederivação baseada em perturbação não melhora a precisão da seleção além do que é alcançado pela agregação de respostas curtas, sem CoT, da imagem original.
• Direção Futura: O progresso no escalonamento em tempo de teste para VLMs provavelmente exigirá fontes de informação além da consistência ao nível da resposta, como sondagens visuais mais densas, recompensas ao nível de processo ou discordância entre modelos.
• Padrão Metodológico: Os autores argumentam que qualquer regra de seleção futura que utilize orçamento de inferência extra em um formato de decodificação diferente deve incluir um controle de formato correspondente (como o MatchedCtrl) para evitar a atribuição errônea de efeitos de formato a mecanismos de fundamentação.

O artigo não afirma que os sinais de perturbação são inúteis; em vez disso, afirma que eles são insuficientes como um seletor autônomo uma vez que o controle da variável de confusão do formato de decodificação é aplicado. O stability gap continua sendo útil para auditar se um modelo "vê" a imagem, mas não para decidir qual resposta escolher quando um controle justo está disponível.