Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

Resumo Técnico: Texto como Restrição Parcial (TPC)

Definição do Problema
O alinhamento visão-linguagem fundamenta o reconhecimento de vocabulário aberto, a recuperação de informações e os Modelos de Linguagem Visão-Linguagem (LVLMs). No entanto, a supervisão por linguagem natural é inerentemente incompleta: as legendas frequentemente omitem detalhes, dependem de contexto compartilhado ou variam significamente na formulação. Os métodos existentes tipicamente tratam cada legenda como um alvo completo, forçando os modelos a se alinharem com detalhes específicos de cada visualização que podem estar ausentes em outras descrições válidas. Isso leva a um pareamento "frágil" (onde o desempenho cai sob paráfrase), previsões "excessivamente confiantes" (onde o modelo apresenta alta certeza mesmo quando a restrição textual é fraca) e alucinações subsequentes em LVLMs. O artigo identifica que os modelos atuais se comprometem excessivamente com resíduos "não ditos" — desvios específicos de uma visualização que não são consistentemente suportados por múltiplas visões de legenda da mesma imagem.

Metodologia: Texto como Restrição Parcial (TPC)
Os autores propõem o TPC, um framework de alinhamento núcleo-resíduo que reformula legendas naturais como restrições parciais em vez de alvos completos. O método opera sob a premissa de que múltiplas visões de legenda de uma imagem compartilham um "núcleo de consenso" estável, enquanto divergem em um espaço residual "não dito".

O framework consiste em quatro componentes principais:

1. Núcleo de Consenso Multi-Visão: Para uma imagem com $K$ visões de legenda, um núcleo de consenso $c_i$ é definido como a direção média normalizada dos embeddings de texto. Este núcleo representa a semântica compartilhada e invariante à visualização.
2. Filtro de Núcleo de Visualização Única: Para permitir a implantação com uma única consulta de texto, um filtro linear leve $\psi_\theta$ é treinado para prever o núcleo de consenso $c_i$ a partir de um embedding de visualização única $t_{i,k}$. Isso garante que o modelo possa recuperar o alvo semântico robusto durante a inferência sem exigir múltiplas legendas.
3. Supressão de Resíduo Não Dito: O embedding de texto é decomposto no núcleo previsto e em um resíduo "não dito" ortogonal $r_{i,k}$. Um regularizador de não-compromisso penaliza explicitamente o alinhamento entre o embedding da imagem e esses resíduos, evitando que o modelo sofra overfitting aos detalhes específicos da visualização.
4. Alinhamento Contrastivo Consciente de Incerteza: Uma métrica de incerteza $u_i$ é computada com base no desacordo (variância) entre as $K$ visões de legenda em relação ao consenso. Esta incerteza modula a temperatura $\tau_i$ na perda InfoNCE. Quando as legendas discordam (alta incerteza), o alinhamento é "suavizado" para reduzir atualizações excessivamente confiantes; quando concordam, o alinhamento é intensificado.

O objetivo total de treinamento combina a perda de alinhamento de núcleo, uma perda de concordância para garantir que o filtro de visualização única corresponda ao consenso, e a perda de não-compromisso para suprimir resíduos.

Principais Contribuições

1. Formalização da Subespecificação de Linguagem: O artigo formaliza a variação de visualização de legenda como uma forma de subespecificação de linguagem e identifica o compromisso excessivo com resíduos "não ditos" como um mecanismo primário por trás da fragilidade e da alucinação.
2. Framework Núcleo–Resíduo: Introduz um princípio de treinamento que prioriza semânticas invariantes à visualização e produz pontuações de confiança que acompanham a força das restrições de texto, mantendo-se implantável com uma única consulta.
3. Justificativa Teórica: Os autores fornecem limites teóricos mostrando que a robustez melhora ao aumentar o alinhamento do núcleo e diminuir a sensibilidade ao resíduo. Eles também demonstram que o consenso multi-visão atua como um mecanismo de redução de ruído para a supervisão textual incompleta, com garantias estatísticas de generalização.

Resultos Experimentais
O TPC foi avaliado através de reconhecimento zero-shot, robustez adversarial e transferência para LVLM:

• Reconhecimento Zero-Shot: No ImageNet, o TPC alcançou 81,42% de acurácia Top-1 limpa e 64,05% robusta, superando o baseline robusto mais forte (Adv-W2S) em +5,58/+5,75. No conjunto de transferência Avg-14, alcançou 76,19% de acurácia limpa e 52,03% de acurácia robusta.
• Transferência para LVLM: Quando usado como codificador de visão para o LLaVA-1.5-7B, o TPC melhorou as métricas de alucinação de objetos, alcançando uma pontuação média de 85,16 POPE F1 (superando o Adv-W2S em +1,36) e 59,57 de acurácia OKVQA.
• Análise de Robustez: O TPC demonstrou redução de sensibilidade à escolha da legenda (menor volatilidade de rank) e melhor calibração sob restrições de texto fracas. Em testes de estresse envolvendo exclusões controladas de legendas, o TPC manteve maior acurácia e menor Erro de Calibração Esperado (ECE) comparado ao ajuste fino padrão do CLIP.

Significância e Alegações
O artigo afirma que modelar o texto como uma restrição parcial é uma rota prática e fundamentada para representações visão-linguagem mais confiáveis. Ao separar explicitamente o núcleo semântico estável dos resíduos instáveis e específicos de cada visualização, o TPC aborda a causa raiz da fragilidade na supervisão de linguagem subespecificada. Os autores enfatizam que esta abordagem não requer a mudança da arquitetura dos LVLMs subsequentes, mas sim fornece um "backbone perceptual" mais robusto que reduz o compromisso excessivo com sinais fracos. O método é apresentado como um substituto direto para codificadores de visão que complementa as correções existentes nos níveis de decodificação e de conector para alucinação.