Inference-Time Structural Reasoning for Compositional Vision-Language Understanding

Resumo Técnico: Raciocínio Estrutural em Tempo de Inferência para Compreensão Composicional Visão-Linguagem

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) modernos demonstram desempenho excepcional em tarefas como recuperação de imagem-texto e geração de legendas. No entanto, eles falham consistentemente no raciocínio composicional: a capacidade de distinguir significados que compartilham as mesmas palavras, mas diferem na estrutura relacional (ex: "O cachorro está perseguindo o gato" vs. "O gato está perseguindo o cachorro").

A maioria dos modelos baseia-se em estatísticas de "saco de palavras" (bag-of-words), atribuindo pontuações quase idênticas a legendas com palavras idênticas, independentemente da atribuição de agente-paciente. O benchmark Winoground foi criado para operacionalizar esse desafio, apresentando pares de imagem-legenda minimamente contrastivos onde a ordem e a relação sintática são os únicos diferenciais. Modelos anteriores, como o CLIP, performaram apenas ligeiramente acima do acaso neste benchmark.

2. Metodologia

O trabalho propõe um framework unificado de avaliação e augmentação que opera apenas no tempo de inferência, sem necessidade de re-treinamento do modelo base. A metodologia divide-se em três componentes principais:

• Parser de Cena Textual (TextSceneGraphParser):

  • Utiliza o spaCy para analisar sintaticamente as legendas e extrair grafos de cena baseados em texto.
  • O parser identifica triplos do tipo Sujeito-Relação-Objeto (SVO), cobrindo cinco construções sintáticas: transitivas/intransitivas, preposicionais, existenciais ("there is"), copulares e possessivas.
  • As frases são convertidas em grafos estruturados $G(c) = \{ \langle s_k, r_k, o_k \rangle \}$.

• Classificador de Assimetria de Grafos (Graph Asymmetry Scorer):

  • Calcula uma pontuação de assimetria entre dois grafos de texto (correspondentes às duas legendas de um par Winoground).
  • Utiliza correspondência bipartida ótima (Algoritmo Húngaro) para alinhar os triplos dos dois grafos.
  • A métrica foca especificamente na inversão de papéis de agente e paciente, penalizando a correspondência incorreta de entidades.

• Estratégias de Augmentação (Injeção de Priors Estruturais):

  • Modelos de Codificador (CLIP, BLIP, Qwen3): Utilizam uma augmentação aditiva. A pontuação final é a soma da pontuação base (similaridade de embeddings) mais um termo de prior estrutural derivado da assimetria dos grafos.
  • Modelos Generativos (LLaVA, Qwen3): Utilizam injeção via Prompt. As triplos extraídas são inseridas no prompt natural para instruir o modelo a prestar atenção na estrutura agente-paciente antes de tomar a decisão (sim/não).
  • Estratégia Multi-turno (Proposta): Em vez de injetar todos os triplos de uma vez (que pode introduzir ruído de erros de parsing), o modelo executa em dois turnos:
    1. Turno 1: O modelo gera um subconjunto de triplos visualmente relevantes (filtragem).
    2. Turno 2: O modelo usa apenas os triplos filtrados para realizar a decisão final de correspondência.

3. Principais Contribuições

1. Framework Unificado: Avaliação comparativa de quatro VLMs arquiteturalmente diversos (CLIP, BLIP, LLaVA, Qwen3-VL-8B-Thinking) no Winoground.
2. Novo Parser e Scorer: Desenvolvimento do TextSceneGraphParser (baseado em regras spaCy) e do Graph Asymmetry Scorer para capturar inversões de papéis.
3. Estudo de Ablação Sistemático: Experimentos de mascaramento e troca de sujeitos/objetos para quantificar a dependência dos modelos em identidade de entidades versus sintaxe relacional.
4. Nova State-of-the-Art (SOTA) Open-Source: Alcançamento de um novo recorde no benchmark Winoground sem re-treinamento.
5. Análise de Trade-off: Demonstração de que a augmentação estrutural beneficia modelos já capazes, mas pode ser inútil ou prejudicial para modelos mais fracos.

4. Resultados

• Desempenho Base: O modelo Qwen3-VL-8B-Thinking já superou significativamente os modelos baseados em codificadores (CLIP, BLIP) e o LLaVA, alcançando uma pontuação de grupo de 62,8% no modo "plain" (sem augmentação).
• Impacto da Augmentação:
  • A estratégia de filtragem multi-turno no Qwen3 elevou a pontuação de grupo para 66,0%.
  • Para modelos mais fracos (CLIP, BLIP), a augmentação estrutural trouxe ganhos negligenciáveis.
  • Para o LLaVA, a injeção direta de prompts (flat injection) piorou o desempenho (de 27,5% para 20,3%), devido a um fenômeno de "super-especificação", onde o modelo ancorou nas entidades listadas no prompt e ignorou a evidência visual.
• Comparação com o Estado da Arte: O resultado de 66,0% supera o método anterior de SOTA open-source, SCRAMBLe-Molmo-7B (54,8%), que exigia re-treinamento e otimização de preferência direta. O método proposto aproxima-se do desempenho humano (85,5%) sem custo computacional de treinamento.

5. Significado e Conclusão

O trabalho demonstra que o raciocínio estrutural em tempo de inferência é uma alternativa viável e eficaz ao fine-tuning pesado para melhorar a compreensão composicional em VLMs.

• Diagnóstico de Capacidade: O estudo de ablação revela que a augmentação estrutural funciona como um "regularizador composicional" apenas para modelos que já possuem uma capacidade base de grounding visual e sensibilidade sintática. Modelos que processam apenas estatísticas de palavras não conseguem integrar esses priores estruturais.
• Eficiência de Inferência: A estratégia de filtragem multi-turno atua como uma forma de "auto-consistência estruturada", onde o modelo usa sua própria capacidade visual para filtrar ruído sintático antes de decidir, otimizando o uso de recursos computacionais na inferência.
• Implicações Práticas: O trabalho sugere que, para modelos generativos de grande porte, a injeção de estrutura deve ser feita com cuidado (evitando a super-especificação) e que a filtragem iterativa é superior à injeção estática de grafos.

Em suma, o artigo estabelece que a combinação de modelos base fortes com mecanismos de raciocínio estrutural leve no tempo de inferência pode desbloquear capacidades composicionais ocultas, superando métodos que dependem de treinamento intensivo.