HKVLM: Faithful Reasoning Grounding by Binding Language Queries to a Frozen Detector

Resumo Técnico: HKVLM – Ancoragem de Raciocínio Fiel através da Vinculação de Consultas Linguísticas a um Detector Congelado

1. Definição do Problema

O artigo aborda a lacuna "ver-mas-falar-erroneamente" (see-but-mis-speak) em Modelos de Linguagem-Visão (VLMs), particularmente em cenários de ancoragem de raciocínio (reasoning grounding). Diferente da simples correspondência de categorias, a ancoragem de raciocínio exige a interpretação de solicitações complexas e baseadas em intenção (ex: "a pessoa que não está usando capacete" ou "algo para cortar papel").

As abordagens atuais sofrem de dois modos primários de falha:

• VLMs de Coordenadas-como-Texto: Modelos que geram coordenadas de caixas delimitadoras (bounding boxes) como tokens de texto autorregressivos (ex: Kosmos-2, Shikra, Rex-Omni) emaranham a localização com a geração de linguagem. Um único token errôneo pode sobrepor um sinal perceptivo correto, e o sinal geométrico é forçado através de um canal linguístico frágil.
• Pipelines de Dois Estágios: Modelos que utilizam um LLM para nomear um objeto e um detector externo para localizá-lo (ex: DetGPT, LISA) comprimem a intenção do modelo em uma única string de classe. Essa interface "com perda" (lossy) descarta pistas instanciáveis e relacionais, levando a falhas de vinculação onde a região correta está disponível, mas foi rotulada incorretamente ou ignorada.

Os autores argumentam que uma ancoragem fiel requer três competências separáveis: competência de localização (encontrar o objeto), fidelidade referencial (nomear apenas o que está presente) e vinculação (conectar a intenção do usuário à região correta). As arquiteturas existentes frequentemente confundem essas competências, levando a alucinações e baixo desempenho de raciocínio.

2. Metodologia: HKVLM

O HKVLM (Hypothetical Knowledge-Visual Language Model) propõe uma arquitetura desacoplada que remove totalmente a localização do caminho de geração de linguagem. O sistema consiste em quatro componentes:

1. Módulo de Percepção Congelado: Um detector de vocabulário aberto pré-treinado e alinhado à linguagem (ex: Grounding DINO) opera em estado congelado. Ele gera um conjunto de alta recall e agnóstico a classes de propostas de regiões $R = \{(b_j, e_j)\}_{j=1}^M$, onde $b_j$ é a caixa e $e_j$ é um embedding de região fundido visão-linguagem. Este módulo detém toda a competência de localização.
2. Embeddings de Consulta Referencial: Um Modelo de Linguagem congelado (ou levemente adaptado, ex: Qwen2.5-VL) processa a imagem e a solicitação do usuário. Em vez de produzir coordenadas ou nomes de classes, ele emite embeddings de consulta referencial contínuos ($u_k$) que codificam o raciocínio do modelo e o conhecimento de mundo.
3. Gancho de Alinhamento (O Componente Treinado): Um módulo leve composto por duas camadas de projeção ($f_\theta, g_\phi$) que mapeia os embeddings de região e os embeddings de consulta em um espaço compartilhado. A vinculação é alcançada via:
   • Recuperação Contrastiva: Aproximando pares de consulta-região correspondentes e afastando os demais.
   • Atribuição Bipartida: Utilizando correspondência húngara (semelhante ao DETR) para atribuir consultas a propostas específicas, minimizando uma função de custo baseada em afinidade e sobreposição de caixas.
4. Veto de Fidelidade Baseado na Percepção: Um cabeçalho de verificação prevê se um par consulta-região vinculado é genuinamente suportado pela imagem. Durante a inferência, uma categoria só é emitida se o par vinculado passar por este verificador e a afinidade exceder um limiar. Isso atua como um "veto" contra alucinações, impedindo que o modelo de linguagem afirme a existência de objetos que não são suportados pelo detector.

Estratégia de Treinamento: Apenas o gancho de alinhamento (projeções, resíduo de caixa e verificador) é treinado. As densas pilhas de percepção e linguagem permanecem congeladas, tornando a abordagem altamente eficiente em termos de dados e adequada para configurações de "partida a frio" (cold-start) com dados limitados.

3. Principais Contribuições

1. Framework Diagnóstico: O artigo introduz uma decomposição Say-vs-See para separar o Erro de Localização (SeeErr) do Erro de Vinculação (SayErr). Isso permite a medição independente de se uma falha se deve ao detector perder um objeto ou ao modelo falhar em vincular a intenção correta a uma região disponível.
2. Arquitetura HKVLM: Uma estrutura de ancoragem onde a localização é estritamente de propriedade de um detector congelado, e a vinculação é realizada via alinhamento explícito em espaço compartilhado, em vez de geração de coordenadas autorregressiva ou interfaces de texto com perda.
3. Objetivo de Fidelidade: Uma restrição baseada na percepção que penaliza explicitamente a nomeação de objetos sem regiões de suporte, visando diretamente a alucinação de objetos.
4. Receita de Treinamento de Partida a Frio (Cold-Start): Um método que alcança forte desempenho de ancoragem treinando apenas um pequeno módulo de alinhamento, contornando as dificuldades de ajustar finamente (fine-tuning) VLMs monolíticos em conjuntos de dados pequenos.

4. Resultados Experimentais

Os autores avaliaram o HKVLM utilizando um Grounding DINO congelado e um Qwen2.5-VL congelado nos datasets RefCOCO/RefCOCO+/RefCOCOg (ancoragem referencial) e POPE (avaliação de alucinação).

• Desempenho de Vinculação (H1): Nos splits do RefCOCO, o gancho de alinhamento treinado melhorou a precisão de ancoragem em 50–90× em comparação com a correspondência de espaço cruzado ingênua (cosseno). A precisão de vinculação subiu de quase zero ($\le 0.005$) para $0.123–0.148$.
• Fidelidade e Alucinação (H2): O veto de fidelidade reduziu significativamente a alucinação de objetos. No benchmark POPE, a taxa de alucinação caiu de $\sim 0.99$ (precisão próxima ao acaso de 0.50) para 0.23–0.43, elevando a precisão do POPE para 0.66–0.76. Crucialmente, essa melhoria ocorreu com perda negligível na precisão de ancoragem ($\le 0.01$ de diferença).
• Eficiência de Dados (H3): O gancho aprendeu vinculação eficaz com apenas 200 expressões de treinamento, superando a correspondência ingênua em 46×. A precisão continuou a melhorar monotonicamente até 24k expressões.
• Análise de Erro: Aumentar o número de propostas ($M$) de 50 para 300 melhorou a precisão de ancoragem em 19–24% sem retreinar o gancho. Isso confirma que o erro restante é primariamente SeeErr (perceptivo, devido ao detector perder o objeto) em vez de SayErr (vinculação), validando a decomposição.

5. Significância e Alegações

O artigo alega que a lacuna "ver-mas-falar-erroneamente" é fundamentalmente uma falha de vinculação causada pelo emaranhamento da localização com a geração de linguagem. Ao desacoplar essas tarefas e impor um veto baseado na percepção, o HKVLM alcança:

• Validação de Mecanismo: Demonstra que a vinculação pode ser aprendida efetivamente em um espaço de embedding compartilhado sem gerar coordenadas, mesmo com componentes pesados congelados.
• Resistência à Alucinação: Prova que a ancoragem sozinha não impede a alucinação; uma restrição de fidelidade explícita é necessária para alinhar as afirmações linguísticas com a evidência perceptual.
• Adaptação Prática: Oferece um caminho viável para adaptar VLMs para tarefas de ancoragem de raciocínio em regimes de escassez de dados (partida a frio) onde o ajuste fino total falha.

Os autores declaram explicitamente que seus resultados são alegações de mecanismo e ablação em um detector fixo e congelado. Eles não alegam o estado da arte absoluto de localização (que é limitado pelo recall de propostas do detector congelado), mas sim um método superior para vincular a intenção da linguagem à percepção visual. Sugere-se como trabalho futuro abordar o erro perceptual residual (SeeErr) via proposição condicionada à expressão e explorar extensões de múltiplas consultas para solicitações de granularidade fina.