Resumo Técnico: Raciocínio Visual Fiel e Fundamentado via Tokens de Proxy Aprendidos

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) alcançaram um sucesso significativo em Questionamento Visual (VQA), mas operam sob um paradigma de "caixa-preta", mapeando entradas diretamente para respostas sem expor os processos de tomada de decisão. Essa falta de transparência dificulta a implantação em domínios críticos.

Para enfrentar isso, as abordagens de Raciocínio Visual Fundamentado (GVR) tentam acoplar racional de texto com informações de fundamentação visual, tipicamente na forma de coordenadas de caixas delimitadoras textuais $(x, y, w, h)$. No entanto, o artigo argumenta que os métodos atuais baseados em coordenadas sofrem de uma "lacuna semântico-espacial" fundamental. Ao tratar localizações espaciais como strings de texto arbitrárias, esses métodos carecem de um elo semântico aprendível com as características visuais subjacentes. Consequentemente, os modelos frequentemente "alucinam" coordenadas que não correspondem à evidência visual real, efetivamente desacoplando o processo de raciocínio da percepção visual. Além disso, os protocolos de avaliação existentes dependem predominantemente da precisão da resposta final, o que mascara essas inconsistências de raciocínio e permite que os modelos adivinhem corretamente baseados em vieses de linguagem em vez de evidência visual.

2. Metodologia: O Framework Composer

Os autores introduzem o Composer, um MLLM projetado para impor um raciocínio fundamentado passo a passo, preenchendo a lacuna semântico-espacial.

2.1. Fundamentação Visual via Tokens de Proxy Aprendidos

Ao contrário dos métodos tradicionais que regridem coordenadas textuais, o Composer emprega um novo mecanismo baseado em tokens de proxy aprendidos.

• Mecanismo: A imagem é decomposta em $N$ tokens visuais $V = \{v_1, v_2, \dots, v_N\}$. Um conjunto correspondente de $N$ tokens de proxy aprendíveis $R = \{<r_1>, \dots, <r_N>\}$ é adicionado ao vocabulário do LLM.
• Indexação: A sequência de entrada intercala esses tokens ($S = [r_1, v_1, r_2, v_2, \dots, Q]$), estabelecendo uma correspondência estrita de 1 para 1 entre cada token de proxy e sua característica visual.
• Operações Baseadas em Conjuntos: Regiões visuais são tratadas como conjuntos discretos e endereçáveis de tokens de proxy. Isso permite que o modelo realize operações implícitas baseadas em conjuntos (interseção, união, verificação de subconjunto) diretamente no espaço latente visual. Por exemplo, o raciocínio espacial (ex: "o objeto A está à esquerda do objeto B?") é reduzido à verificação da interseção de seus respectivos conjuntos de tokens de proxy ($S_A \cap S_{esquerda} \neq \emptyset$).
• Raciocínio Recursivo: O modelo pode referenciar tokens de proxy gerados em etapas de raciocínio anteriores, efetivamente "encolhendo" o espaço de busca visual para índices relevantes.

2.2. Estratégia de Treinamento

O Composer é treinado usando uma estratégia de dados em duas etapas:

1. Pré-treinamento de Alinhamento: O modelo é equipado com capacidades de localização refinadas usando tarefas diversas de visão-linguagem (legenda, compreensão de expressão de referência e raciocínio espacial visual). As anotações de caixas delimitadoras de datasets como COCO e RefCOCO são mapeadas para o vocabulário de tokens de proxy.
2. Raciocínio de Múltiplas Etapas (ComposerGCoT): Para abordar a falta de supervisão intermediária em datasets padrão, os autores sintetizaram o ComposerGCoT. Este dataset é derivado do GQA, destilando grafos de cena e programas funcionais em cadeias de raciocínio visualmente fundamentadas e discretas. Cada etapa é anotada com respostas intermediárias e fundamentação visual, resultando em 163 mil cadeias de raciocínio para 55 mil imagens.

2.3. Saída Estruturada para Avaliação

Para permitir uma avaliação rigorosa, o Composer gera cadeias de raciocínio estruturadas usando tags leves no estilo XML (ex: <objectRecognition>, <spatialLocation>, <attributeColor>) encapsuladas dentro de um bloco <thought>. Este formato permite a verificação independente da validade lógica e da precisão espacial de cada etapa do raciocínio, em vez de apenas a resposta final.

3. Principais Contribuições

1. Modelo Composer: Um MLLM que utiliza tokens de proxy aprendidos para indexar o espaço latente da imagem, substituindo a regressão de coordenadas arbitrárias por ponteiros discretos e semanticamente manipuláveis.
2. Dataset ComposerGCoT: Um dataset especializado e sintetizado que fornece supervisão detalhada para cada etapa da cadeia de raciocínio, permitindo uma avaliação holística da consistência do raciocínio e da fidelidade da fundamentação.
3. Protocolo de Avaliação: Um framework que avalia modelos em três eixos: precisão da resposta, consistência do raciocínio (precisão da sequência da tarefa) e precisão da fundamentação visual (IoU).

4. Resultados Experimentais

Os autores avaliaram o Composer contra um baseline baseado em coordenadas (B-Composer) e sua variante de tokens de proxy (P-Composer) no conjunto de validação ComposerGCoT.

• Consistência do Raciocínio: Existe uma forte correlação entre caminhos de raciocínio corretos e respostas finais corretas. Para o P-Composer, 76,08% dos caminhos de raciocínio corretos levaram a respostas corretas, sugerindo que as etapas de raciocínio impulsionam a previsão em vez de servirem como justificativas post-hoc.
• Precisão da Fundamentação: O P-Composer supera significativamente o B-Composer na precisão da fundamentação visual.
  • IoU Geral: Melhoria de +2,7 pontos (57,9% vs. 55,2%).
  • IoU Estrito@0.95: Melhoria de +9,0 pontos (15,4% vs. 6,4%).
• Detalhamento de Capacidade: O P-Composer alcançou a maior precisão em posicionamento espacial (84,8%) e relações espaciais (79,2%), enquanto o desempenho foi menor em atributo de cor (66,5%), provavelmente devido à natureza aberta da atribuição de cor em comparação com escolhas espaciais restritas.
• Precisão da Resposta: O Composer alcançou paridade de desempenho com seu correspondente baseado em coordenadas na precisão da resposta final, demonstrando que o novo mecanismo de fundamentação não compromete o desempenho da tarefa.

5. Significância e Alegações

O artigo afirma que tokens de proxy discretos aprendidos capturam a semântica espacial de forma mais eficaz do que as coordenadas textuais típicas. Ao estabelecer um elo explícito e aprendível entre o raciocínio linguístico e as características visuais, o Composer promove a interpretabilidade fiel.

Os autores afirmam que esta abordagem representa um caminho promissor para MLLMs confiáveis e seguros. O trabalho demonstra que é possível manter alta precisão de resposta enquanto se melhora significativamente a fidelidade da fundamentação visual, abordando assim a "lacuna semântico-espacial" que atualmente assola os sistemas de raciocínio visual fundamentado. O estudo enfatiza que a avaliação rigorosa deve ir além da precisão da resposta final para diagnosticar se os modelos estão "certos pelos motivos certos".