💻 computer science

SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification

O artigo introduz o SEER, uma interface de inferência sem treinamento para Modelos de Visão-Linguagem congelados que melhora a classificação de relações espaciais ao construir visualizações de evidência específicas para a consulta com papéis explícitos de sujeito/objeto e contexto geométrico complementar, reduzindo significamente erros causados por visualizações globais ambíguas ou seleção incorreta de instâncias.

Autores originais: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Publicado 2026-08-05

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça onde duas peças precisam se encaixar perfeitamente. No mundo da inteligência artificial, existem os "Modelos de Visão-Linguagem" (VLMs) — cérebros de computador super inteligentes que conseguem olhar para uma foto e ler uma pergunta sobre ela. Eles são ótimos em reconhecer objetos; se você mostrar uma foto de um gato e um cachorro, eles sabem qual é qual. Mas aqui está a parte complicada: quando você pergunta "O gato está à esquerda do cachorro?", eles às vezes se confundem. Eles podem ver os animais corretamente, mas confundem suas posições, ou podem adivinhar com base no que ouviram em livros, em vez do que realmente veem. Isso é como um aluno que conhece as definições de "esquerda" e "direita", mas continua apontando para o lado errado ao olhar para um mapa. Os cientistas se preocupam em consertar isso porque, se esses cérebros de IA não conseguirem entender relações espaciais, eles não poderão nos ajudar em coisas como dirigir carros, navegar com robôs ou ler diagramas complexos com segurança.

Surge o SEER, um truque inteligente para esses cérebros de IA que não exige ensinar nada novo. Pense no SEER como um sistema de "holofote e rótulo". Em vez de deixar a IA encarar a imagem inteira e bagunçada e adivinhar, o SEER primeiro encontra silenciosamente as duas coisas específicas sobre as quais a pergunta trata (como o gato e o cachorro). Então, ele cria uma visão especial, com zoom, apenas para esses dois itens. Ele desenha uma caixa vermelha ao redor do sujeito e uma caixa azul ao redor do objeto, rotulando-os claramente como "Sujeito" e "Objeto". Ele esconde as respostas possíveis (como "esquerda" ou "direita") durante esta etapa para que a IA não dependa das opções de resposta para decidir para onde olhar. Ao forçar a IA a focar em uma visão limpa e rotulada apenas dos dois itens, o SEER ajuda a IA a tomar uma decisão muito melhor. Os pesquisadores descobriram que este método simples de "refocar e rotular" tornou a IA significativamente melhor em acertar as relações espaciais, melhorando sua precisão em cerca de 4% em média em diferentes testes.

O Problema: O "Desfoque Gigante" da IA

Imagine que você está em uma sala lotada de pessoas e alguém pergunta: "A pessoa de chapéu vermelho está de pé à esquerda da pessoa de camisa azul?". Se você apenas der uma olhada rápida em toda a sala, pode errar. Talvez você veja um chapéu vermelho na extrema esquerda e uma camisa azul na extrema direita, mas as pessoas específicas de quem a pergunta trata estão, na verdade, paradas bem próximas uma da outra no meio.

Os modelos de IA atuais frequentemente cometem esse mesmo erro. Eles conseguem ver os objetos, mas se perdem na "visão global" da imagem. Eles podem depender do que acham que costuma acontecer (como "gatos geralmente ficam à esquerda") em vez de realmente verificar os locais específicos na imagem. Isso é chamado de "alucinação" ou "falha de fundamentação" (failure to ground) na evidência visual correta. O artigo argumenta que o problema não é que a IA seja burra demais para entender "esquerda" ou "direita", mas sim que ela está olhando para a parte errada da imagem ou se confundindo com muito ruído de fundo.

A Solução: A Lanterna "Auto-Fundamentada" do SEER

Os autores deste artigo, trabalhando no Instituto de Tecnologia de Computação da China, criaram um método chamado SEER (Self-grounded Evidence for Entity-Relation Reasoning - Evidência Auto-fundamentada para Raciocínio de Entidade-Relação). É como dar à IA uma lanterna e um par de marca-textos, mas com uma regra muito estrita: Não olhe para o gabarito ainda.

Aqui está como o SEER funciona, passo a passo:

A Busca "Cega": Quando a IA recebe uma pergunta como "A caneca está à esquerda do livro?", o SEER primeiro pede à IA para encontrar a caneca e o livro na imagem. Crucialmente, ele esconde as respostas possíveis (esquerda, direita, acima, abaixo) durante esta busca. Isso evita que a IA dependa da palavra "esquerda" e acabe apenas encontrando uma caneca no lado esquerdo da imagem, independentemente de onde o livro realmente esteja.
A Visão com "Zoom": Assim que a IA encontra a caneca e o livro, o SEER recorta uma pequena imagem contendo apenas esses dois itens. Ele desenha uma caixa vermelha ao redor da caneca (o sujeito) e uma caixa azul ao redor do livro (o objeto). Ele os rotula claramente.
A Verificação de "Papel Explícito": Agora, a IA olha para esta imagem limpa e com zoom. Ela vê: "Ok, a caixa vermelha é a caneca, a caixa azul é o livro. Agora, a caixa vermelha está à esquerda da caixa azul?". Como o fundo sumiu e os papéis foram rotulados, a IA tem muito menos chance de se confundir.
A "Dupla Verificação" (Opcional): Às vezes, a IA ainda pode estar em dúvida. O SEER tem um truque interessante chamado "consistência recíproca". Ele inverte os papéis: "Ok, agora finja que o livro é o sujeito e a caneca é o objeto. O livro está à direita da caneca?". Se a resposta da IA fizer sentido em ambas as direções (se A está à esquerda de B, então B deve estar à direita de A), ela confirma a resposta. Se as respostas se contradizem, ela sabe que algo está errado e tenta novamente.

O Que os Experimentos Mostraram

Os pesquisadores testaram este método em vários conjuntos de dados diferentes, que são como coleções gigantes de pares de imagem e pergunta. Eles usaram um conjunto de teste "congelado", o que significa que escolheram as perguntas de teste antes de iniciarem os experimentos, para que não pudessem acidentalmente ajustar seu método para apenas memorizar as respostas.

A Grande Vitória: Em um conjunto de teste chamado GQA-Train900 (que possui 900 imagens únicas), o SEER melhorou a precisão da IA em +3,94% em comparação com apenas olhar para a imagem completa. Isso pode parecer pouco, mas no mundo dos benchmarks de IA, um salto de quase 4% é algo enorme. Significa que a IA acertou quase 40 perguntas a mais em cada 1.000.
Diferentes Modelos, Mesmo Sucesso: Eles testaram isso em diferentes tipos de cérebros de IA (como Qwen3 e InternVL3.5). Todos ficaram melhores. Por exemplo, em um teste diferente chamado EmbSpatial, um modelo melhorou absurdos +11,79%.
Por Que Funciona: Os pesquisadores realizaram testes especiais para descobrir por que funcionava. Eles descobriram que a magia não era apenas o "zoom" (recortar a imagem). Eram os rótulos. Quando eles recortaram a imagem, mas não rotularam qual era o sujeito e qual era o objeto, a IA não melhorou tanto. Os rótulos claros de "Caixa Vermelha = Sujeito" e "Caixa Azul = Objeto" foram a chave. Isso forçou a IA a prestar atenção aos papéis específicos dos objetos.
O Que Não Corrigiu: O método não é perfeito. Ele teve um pouco de dificuldade com a palavra "sobre" (como "a xícara está sobre a mesa") porque "sobre" é difícil de distinguir de apenas estar "acima" sem profundidade 3D. Também não ajudou tanto quando a IA tinha que adivinhar "verdadeiro" ou "falso" em perguntas binárias, sugerindo que o truque funciona melhor quando há opções específicas para escolher.

A Conclusão

O SEER prova que você nem sempre precisa construir uma IA maior, mais inteligente ou mais cara para resolver um problema. Às vezes, você só precisa mudar como você apresenta o problema para a IA. Ao esconder as opções de resposta durante a busca e depois apresentar uma visão limpa e rotulada apenas dos objetos relevantes, a IA pode parar de adivinhar e começar a enxergar.

Os autores são cuidadosos ao dizer que isso não é uma varinha mágica que resolve todos os problemas espaciais. A IA ainda precisa ser boa em encontrar os objetos em primeiro lugar. Mas quando os objetos são encontrados, o SEER atua como um guia prestativo, garantindo que a IA olhe para a coisa certa da maneira certa. É um lembrete de que, na corrida por uma IA mais inteligente, às vezes o melhor upgrade é uma interface melhor.

Resumo Técnico: SEER – Uma Interface de Evidência Auto-Fundamentada para Classificação de Relações Espaciais Controladas

Declaração do Problema

Modelos de Linguagem-Visão (VLMs) falham frequentemente no raciocínio de relações espaciais, mesmo quando conseguem reconhecer entidades individuais corretamente. Benchmarks como VSR, What'sUp, GQA e ARO demonstram que os modelos frequentemente reconhecem objetos, mas falham ao comparar suas posições, baseando-se em vieses linguísticos (priors), atendendo à instância errada ou interpretando visões globais ambíguas. Os atuais checkpoints orientados ao raciocínio e modelos multimodais não garantem inerentemente a seleção da evidência visual correta. O problema central é que uma resposta espacial é tão confiável quanto a evidência de entrada; se o modelo atender a uma instância incorreta ou carecer de condicionamento de papel explícito, a premissa para a previsão da relação é corrompida antes da decisão ser tomada.

Metodologia: SEER

O SEER (Self-grounded Evidence for Entity-Relation Reasoning) é uma interface de evidência de tempo de inferência, livre de treinamento, projetada para VLMs congelados. Ele não treina novos modelos nem depende de detectores externos. Em vez disso, constrói estados de evidência visual específicos para a consulta para guiar o processo de decisão do VLM. O método opera em quatro estágios:

1. Auto-fundamentação Oculta à Relação-Alvo (Target-Relation-Hidden Self-Grounding)

O SEER primeiro localiza o par sujeito ( $S$ ) e objeto ( $O$ ) consultados usando um fundamentador (grounder) de VLM congelado ( $G$ ). Crucialmente, esta etapa de fundamentação é oculta à relação-alvo: o modelo recebe a imagem e os nomes das entidades, mas o conteúdo de relações candidatas e opções de resposta é explicitamente retido. Isso evita que o fundamentador vicie a seleção da caixa (box) em direção a uma relação específica.

Validação: As caixas são validadas para área positiva e coordenadas válidas. Se a fundamentação falhar, o sistema recorre à imagem completa.

2. Construção de Estados de Evidência Complementares

O SEER gera três tipos distintos de evidência para o mesmo par sujeito/objeto:

Evidência de Imagem Completa (Full Image Evidence): A imagem original e a pergunta, preservando o contexto global. Isso serve como um fallback seguro.
Visão de Marcador Auto-Fundamentada (Self-Grounded Marker View): Uma visão recortada contendo a união das caixas delimitadoras do sujeito e do objeto. O sujeito é marcado com uma caixa vermelha rotulada como "S", e o objeto com uma caixa azul rotulada como "O". Este estado fornece refoco local e atribuição de papel explícita, forçando o modelo a atender ao par específico e seus papéis linguísticos sem as relações candidatas.
Geometria Elegível por Limiar (Threshold-Eligible Geometry): Um candidato determinístico derivado dos centros e extensões das caixas. É elegível apenas para relações específicas (ex: esquerda/direita via deslocamento horizontal, dentro/contém via cobertura de caixa) e abstém-se de outras (ex: frente/atrás, sobre/acima) onde a geometria 2D é insuficiente.

3. Decisão de Evidência Livre de Treinamento

O estágio de decisão agrega as previsões das evidências disponíveis usando uma regra fixa e determinística:

Decisão de Avanço (Forward Decision): Se a Geometria for elegível e seu escore de layout exceder um limiar ( $\tau=0.5$ ), ela tem prioridade. Caso contrário, o sistema seleciona o estado visual (Completo ou Marcador) com a maior diferença de escore entre as opções (o gap entre o principal candidato e o segundo colocado).
Refinamento de Consistência Recíproca: Para protocolos com relações inversas exatas (ex: esquerda $\leftrightarrow$ direita), o SEER realiza uma verificação recíproca. Ele troca os papéis de sujeito e objeto (e os marcadores S/O) e reavalia a consulta. Se exatamente um estado (Completo ou Marcador) respeitar a relação inversa enquanto o outro não respeita, o sistema muda para o estado consistente. Isso atua como um mecanismo de resolução de conflitos apenas quando existe uma inversão exata.

Principais Contribuições

Interface de Evidência Específica de Consulta: O artigo formula a resposta espacial como um problema de interface de evidência, introduzindo a auto-fundamentação oculta à relação-alvo. Isso transforma o par consultado em evidência visual com papéis explícitos sem treinamento de VLM ou detectores externos.
Refinamento de Consistência Recíproca: Um refinamento opcional e específico de protocolo que utiliza a troca exata de sujeito/objeto para obter uma pista de consistência observável para estados de evidência conflitantes, sem exigir calibração aprendida ou rótulos de alvo.
Isolamento de Mecanismo: Através de contrafatuais pareados (ex: recortar sem marcadores, trocar identidades S/O, usar caixas Oracle), os autores isolam o refoco local e o condicionamento de papel explícito como os principais impulsionadores da melhoria, em vez de simples recorte ou instruções de texto adicionais.

Resultados Experimentais

O SEER foi avaliado em conjuntos de teste e pools de desenvolvimento disjuntos de imagem (image-disjoint) em múltiplos modelos (Qwen3-Instruct/Thinking, Qwen2.5, R1-Onevision, InternVL3.5) e datasets (GQA, Visual Genome, EmbSpatial, VSR, SpatialSense).

GQA-Train900 (Teste Congelado): Em um conjunto de teste de 900 imagens únicas congeladas antes da pontuação, o SEER alcançou um ganho agrupado de +3.94 sobre a linha de base de Imagem Completa (95% CI [2.17, 5.72]). O ganho permaneceu positivo sob o contrabalanço de hash independente de rótulo (+2.56).
Pools de Desenvolvimento (GQA/VG): Em 41.544 avaliações, o SEER melhorou todas as oito combinações de modelo/dataset. O ganho agrupado foi de +3.99 sobre o Completo. O refinamento de consistência recíproca contribuiu com um adicional de +1.36 sobre a Decisão de Avanço.
EmbSpatial: Em 2.434 perguntas de par-relação filtradas, o SEER melhorou o Qwen3-Instruct, Qwen3-Thinking e InternVL3.5 em +4.35, +5.09 e +11.79, respectivamente.
Análise de Mecanismo:
- Refoco Local: Mover de Completo para uma visão recortada (Crop) rendeu um ganho de +1.25.
- Condicionamento de Papel: Adicionar marcadores S/O explícitos ao recorte (Self-Marker) rendeu um ganho adicional de +1.64.
- Gap de Oracle: Usar caixas de verdade fundamental (Oracle-Marker) forneceu um ganho de +6.17 sobre o Self-Marker, indicando uma margem significativa para a qualidade da localização.
- Robustez: Os ganhos persistiram mesmo ao remover relações "on" ambíguas ou nomes de entidades repetidos, embora o desempenho tenha variado por tipo de relação (ex: fortes ganhos em "inside", resultados mistos em "right-of").
Limitações: O método não se transfere uniformemente para julgamentos de verdade binária (ex: VSR, SpatialSense), onde a consistência recíproca é menos eficaz. O desempenho é limitado pela qualidade da auto-fundamentação; embora o IoU seja imperfeito, os ganhos persistem mesmo com baixa sobreposição.

Significância e Alegações

O artigo alega que a construção de evidência explícita é a intervenção principal para melhorar o raciocínio espacial em VLMs congelados. Ao tornar as localizações e papéis específicos da consulta conjuntamente inspecionáveis, o SEER mitiga falhas causadas pelo atendimento à instância errada ou pela dependência de vieses linguísticos.

Evidência sobre Raciocínio: Os resultados sugerem que mesmo checkpoints de raciocínio avançados beneficiam-se significativamente de melhores interfaces de evidência visual, estabelecendo que "uma resposta espacial é tão boa quanto sua evidência de entrada".
Eficiência Livre de Treinamento: O SEER alcança esses ganhos sem treinamento, usando uma regra fixa e um VLM congelado. Embora incorra em um custo computacional (aprox. 7.12x um único score de Imagem Completa), os autores observam que o gating adaptativo pode reter ~81% do ganho com um custo de ~2.57x.
Modéstia: Os autores afirmam explicitamente que o SEER é uma interface de evidência, não um certificado de fundamentação exata. As melhorias não implicam recuperação perfeita de instâncias, e o método permanece limitado pela visibilidade das relações na aparência local e no layout 2D. O refinamento de consistência recíproca é descrito como um "pequeno refinamento específico de protocolo" em vez de uma solução universal.

Em conclusão, o SEER demonstra que controlar o estado da evidência visual — especificamente através da auto-fundamentação oculta à relação-alvo e do condicionamento de papel explícito — pode reparar significativamente as falhas de raciocínio espacial em VLMs, oferecendo uma alternativa robusta e livre de treinamento ao retreinamento de modelos ou ferramentas de detecção externa.