💻 computer science

Test-time Scaling over Perception: Resolving the Grounding Paradox in Thinking with Images

O artigo propõe o TTSP, um framework que resolve o Paradoxo de Grounding em modelos multimodais ao tratar a percepção como um processo de inferência escalável que gera, filtra e refina iterativamente múltiplos traços de exploração visual para melhorar o raciocínio sob incerteza perceptiva.

Autores originais: Zheng Jiang, Yiming Chen, Nan He, Jiahui Chen, Chaoyang Li, Houde Qian, Lifeng Sun

Publicado 2026-04-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zheng Jiang, Yiming Chen, Nan He, Jiahui Chen, Chaoyang Li, Houde Qian, Lifeng Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um mistério complexo olhando para uma foto gigante e cheia de detalhes, como uma cena de crime ou um mapa antigo. Você tem um "super-olho" (o modelo de IA) que pode dar zoom em qualquer parte da foto.

O problema é o seguinte: para usar o zoom na lugar certo, você precisa saber o que procurar. Mas para saber o que procurar, você precisa ter dado o zoom antes! É um ciclo vicioso. Se você der zoom no lugar errado, perde tempo. Se não der zoom, perde a pista. Os autores chamam isso de "Paradoxo do Aterramento" (Grounding Paradox): você precisa de detalhes finos para decidir onde olhar, mas só consegue ver os detalhes finos depois de olhar.

A maioria dos sistemas atuais tenta adivinhar onde olhar de primeira. Se erram, falham.

A Solução: "Escalando a Percepção no Momento do Teste" (TTSP)

Os autores criaram um novo método chamado TTSP. Em vez de tentar adivinhar o lugar certo de uma só vez, eles transformam a percepção em um processo de "tentativa e erro" inteligente e organizado.

Pense no TTSP como uma equipe de detetives trabalhando em um caso, em vez de um único detetive solitário.

Como funciona (A Analogia dos Detetives):

A Exploração em Grupo (O "Zoom" Diverso):
Em vez de enviar um único detetive para investigar, o sistema envia vários detetives (chamados de "traços" ou traces) ao mesmo tempo. Cada um olha para a foto de um ângito diferente, dá zoom em lugares diferentes e tenta encontrar pistas.
- Analogia: É como jogar várias sementes em um campo para ver onde a planta cresce melhor, em vez de plantar apenas uma.
O Filtro de Confiança (O Chefe Rigoroso):
Nem todos os detetives são bons. Alguns podem alucinar coisas que não existem ou olhar para o lugar errado. O sistema usa uma "medida de confiança" (baseada em como o modelo se sente sobre suas próprias respostas) para descartar os detetives que estão confusos ou errados.
- Analogia: O chefe da polícia olha os relatórios e diz: "Você, que achou que viu um fantasma onde não tinha nada, pode ir embora. Você, que viu uma pegada real, fique."
O Quadro de Investigações (Memória de Conhecimento):
O sistema pega as pistas válidas dos detetives que ficaram e cria um quadro de investigação organizado.
- Fatos Confirmados: Coisas que todos os bons detetives concordam (ex: "Há uma bandeira vermelha no telhado"). Isso é salvo como verdade.
- Conflitos Abertos: Coisas onde os detetives discordam (ex: "O detetive A diz que a bandeira é azul, o B diz que é vermelha"). O sistema marca isso como "precisa de mais investigação".
- Analogia: É como um quadro de mistério com linhas vermelhas conectando pistas. As coisas certas ficam fixas; as dúvidas ficam marcadas com um ponto de interrogação.
A Rodada de Refinamento (Foco no que falta):
O sistema começa uma nova rodada. Desta vez, ele envia novos detetives, mas com uma missão diferente:
- Eles não precisam verificar o que já é fato confirmado (economiza tempo).
- Eles são forçados a ir direto para os "Conflitos Abertos" para resolver as dúvidas.
- Ao mesmo tempo, ele mantém alguns detetives "livres" para explorar áreas novas, caso tenham perdido algo importante.
- Analogia: É como um jogo de "Caça ao Tesouro" onde, a cada rodada, você recebe um mapa atualizado que diz: "Você já achou a chave, agora foque apenas na caixa forte que ainda está trancada."
A Decisão Final (O Consenso):
No final, o sistema junta todas as pistas confiáveis de todas as rodadas. Ele não escolhe a resposta de apenas um detetive, mas faz uma votação ponderada. As respostas dos detetives que foram mais confiantes e precisos têm mais peso na decisão final.

Por que isso é incrível?

Não é apenas "pensar mais": A maioria das IAs tenta pensar mais tempo sobre a mesma imagem. O TTSP olha melhor. Ele entende que o problema não é falta de inteligência, mas falta de informação visual correta.
Economia de Energia: Embora use mais computação do que uma tentativa simples, ele é mais eficiente do que os métodos atuais porque evita repetir erros. Ele para de olhar onde já sabe a resposta e foca onde há dúvida.
Funciona em qualquer tamanho: Funciona bem tanto em modelos menores quanto em gigantes, provando que a estratégia de "explorar e filtrar" é universal.

Resumo em uma frase:

O TTSP resolve o problema de "não saber onde olhar" transformando a visão da IA em um processo de investigação colaborativa, onde múltiplas tentativas são feitas, as erradas são descartadas, as dúvidas são anotadas e o foco é refinado a cada passo até que o mistério seja resolvido com precisão.

Título: Escalonamento em Tempo de Teste sobre Percepção: Resolvendo o Paradoxo de Grounding no Pensamento com Imagens

1. O Problema: O Paradoxo de Grounding

O artigo identifica um obstáculo fundamental nos Modelos de Linguagem Multimodal (MLLMs) que utilizam ferramentas visuais (como zoom e recorte) para o raciocínio visual, um paradigma conhecido como "Thinking with Images" (Pensamento com Imagens).

A Dependência Circular: Os sistemas atuais são frágeis no raciocínio visual de alta granularidade porque enfrentam um paradoxo lógico:
1. O modelo precisa invocar uma ferramenta visual (ex: zoom) para obter informações detalhadas necessárias para responder a uma pergunta.
2. No entanto, para decidir onde aplicar o zoom (selecionar a região correta da imagem), o modelo já precisa de informações detalhadas que só estariam disponíveis após a execução do zoom.
Consequência: Como o estado perceptual global inicial não contém as informações finas necessárias para localizar a evidência, o modelo frequentemente inspeciona regiões irrelevantes, ignora evidências críticas ou falha em invocar ferramentas quando necessário. Isso transforma o uso de ferramentas em "sondagem especulativa" em vez de investigação direcionada.

2. Metodologia: TTSP (Test-Time Scaling over Perception)

Para resolver esse paradoxo, os autores propõem o TTSP, um framework que trata a própria percepção como um processo de inferência escalável, em vez de apenas escalar o raciocínio sobre dados já observados.

O framework opera através de múltiplas rodadas de inferência, seguindo três etapas principais:

A. Exploração Perceptual Paralela

Em vez de seguir uma única trajetória de raciocínio, o TTSP gera $K$ "traços de percepção" (traces) em paralelo a cada rodada.

Traços Frescos (Fresh Traces): Uma fração ( $\alpha$ ) das trajetórias é gerada sem acesso ao conhecimento anterior, garantindo diversidade de exploração e evitando viés de confirmação.
Traços Guiados (Guided Traces): A fração restante é condicionada a um "memória de conhecimento estruturado" das rodadas anteriores, focando em incertezas não resolvidas.

B. Pontuação de Confiabilidade e Filtragem

Nem todos os traços são igualmente confiáveis. O TTSP utiliza uma estimativa de confiabilidade baseada na entropia de tokens:

Calcula-se a entropia de Shannon nos pontos de decisão mais críticos de cada traço (ex: seleção de coordenadas de bounding box, interpretação de evidências sutis).
Traços com alta entropia (baixa confiança) nesses pontos críticos são filtrados e descartados antes da agregação. Isso previne que alucinações ou observações irrelevantes contaminem o conhecimento futuro.

C. Extração de Conhecimento Estruturado e Refinamento Iterativo

Os traços filtrados são sintetizados em uma memória de conhecimento que possui dois componentes:

Conhecimento Confirmado (Confirmed Knowledge): Observações consistentes e verificadas que são tratadas como fatos estabelecidos, reduzindo a necessidade de re-inspeção.
Conflitos Abertos (Open Conflicts): Discrepâncias entre os traços que indicam incerteza. Cada conflito inclui uma diretriz espacial indicando qual região deve ser inspecionada na próxima rodada para resolver a disputa.

Essa memória é injetada nas rodadas subsequentes, permitindo que o modelo refine sua busca progressivamente, focando onde a incerteza permanece. A resposta final é obtida por uma agregação ponderada pela confiabilidade de todos os traços retidos.

3. Contribuições Principais

Identificação do Paradoxo de Grounding: O artigo formaliza a dependência circular entre a necessidade de evidência fina para localizar a evidência, explicando sistematicamente as falhas dos sistemas atuais de "Thinking with Images".
Framework TTSP: Propõe uma abordagem inovadora onde o escalonamento em tempo de teste é aplicado à percepção ativa. O modelo não apenas raciocina melhor, mas "aprende a olhar" melhor através de exploração múltipla, filtragem de confiança e refinamento iterativo.
Validação Empírica: Demonstra que escalar a percepção (explorar mais regiões e refinar a busca) é mais eficaz do que apenas escalar o raciocínio sobre uma percepção inicial fixa.

4. Resultados Experimentais

O TTSP foi avaliado em benchmarks de alta resolução e raciocínio multimodal geral (V*Bench, HR-Bench, TreeBench, MME-RealWorld-Lite) utilizando backbones como Qwen3-VL.

Desempenho Superior: O TTSP superou consistentemente bases fortes, incluindo modelos comerciais (GPT-4o), sistemas de raciocínio visual especializados (Thyme, DeepEyes) e métodos de escalonamento em tempo de teste existentes (como Self-Consistency e RTWI).
Eficiência em Alta Resolução: Os ganhos foram mais pronunciados em tarefas que exigem localização precisa de evidências e percepção de detalhes finos (texto pequeno, atributos sutis).
Escalabilidade: O método mostrou-se escalável em três dimensões:
- Tamanho do Modelo: Ganhos consistentes ao aumentar o tamanho do backbone.
- Largura de Percepção: Aumentar o número de traços paralelos melhora a chance de encontrar a evidência correta.
- Profundidade de Percepção: Rodadas iterativas adicionais refinam a percepção, reduzindo o número de chamadas de ferramentas e o comprimento do raciocínio nas rodadas finais.
Eficiência de Tokens: Apesar de usar múltiplos traços, o TTSP consumiu menos tokens em comparação com o método concorrente RTWI, pois a memória estruturada evita a re-inspeção redundante de regiões já confirmadas.

5. Significado e Impacto

Este trabalho representa uma mudança de paradigma no raciocínio multimodal:

Da Percepção Estática para a Dinâmica: Demonstra que a percepção não deve ser um passo único e estático, mas um processo iterativo e escalável que pode ser otimizado em tempo de teste.
Solução para Incerteza: Oferece uma solução principista para a incerteza inerente ao "grounding" visual, transformando a exploração de ferramentas de um "chute único" em um processo de teste de hipóteses perceptuais.
Futuro do Raciocínio Visual: Sugere que o futuro dos MLLMs robustos dependerá não apenas de modelos maiores, mas de arquiteturas capazes de gerenciar ativamente a busca por evidências visuais sob incerteza, utilizando mecanismos de memória e filtragem de confiança.

Em resumo, o TTSP prova que escalar a percepção é uma estratégia viável e poderosa para superar as limitações atuais dos modelos multimodais em tarefas complexas que exigem atenção a detalhes finos.