Resumo Técnico: Decodificação Contrastiva de Tom-Pressão (TPCD)

1. Definição do Problema

Os Modelos de Linguagem-Visão (VLMs) exibem um modo de falha específico conhecido como alucinação induzida por pressão. Quando os usuários utilizam prompts indutivos, coercitivos ou de alta pressão, os modelos frequentemente substituem a incerteza por compromissos concretos e não fundamentados. Isso se manifesta como a leitura de textos ilegíveis, o relato de horários indeterminados ou a afirmação da presença de objetos ausentes.

Embora o uso de "prompts seguros" (wrappers neutros) possa mitigar parte disso, essa abordagem frequentemente falha quando o modelo ainda converte evidências fracas em uma resposta concreta. Por outro modo, a decodificação contrastiva total (subtraindo um ramo negativo de um ramo seguro) pode gerar recusas excessivas, suprimindo respostas positivas válidas. O desafio central identificado neste trabalho é o roteamento sem rótulos (label-free routing): determinar quando aplicar a subtração de pressão sem prejudicar as respostas positivas fundamentadas, utilizando apenas as saídas do modelo em vez de rótulos de verdade fundamental (ground truth) externos.

2. Metodologia

Decodificação Contrastiva de Tom-Pressão (TPCD)

O TPCD é uma variante de decodificação contrastiva projetada especificamente para alucinação induzida por pressão. Para uma imagem $I$ e uma pergunta $q$, o VLM é executado sob dois wrappers de instrução:

1. Neutro Seguro ($s_0$): Solicita respostas baseadas apenas na evidência visível.
2. Alta Pressão ($s_+$): Exige uma resposta confiante e desencoraja a incerteza.

Em cada etapa de decodificação $t$, os logits são combinados como:
$$\tilde{\ell}_t = (1 + \alpha)\ell^0_t - \alpha\ell^+_t$$
onde $\ell^0_t$ e $\ell^+_t$ são os logits de segurança e de pressão, respectivamente. O parâmetro $\alpha$ é definido como 2.0. Este mecanismo penaliza tokens que são promovidos pela pressão mais do que pelo wrapper seguro, preservando simultaneamente tokens suportados por ambos os ramos.

Mecanismos de Portão Sem Rótulos (Label-Free Gating)

Como o TPCD total é excessivamente conservador (colapsando a acurácia positiva), o artigo propõe vários portões (gates) para decidir entre a resposta de pressão ($y_+$) e a resposta TPCD ($y_{TPCD}$). Esses portões dependem exclusivamente de saídas de forma superficial e do desacordo entre ramos, evitando a necessidade de rótulos de verdade fundamental:

• Portão de Compromisso de Regra de Superfície (Surface-Rule Commitment Gate): É acionado se o ramo de pressão produzir um compromisso concreto (ex: um horário específico, um nome ou um "sim" afirmativo). Limitação: Isso é tautológico para certas categorias, pois utiliza os mesmos predicados que o pontuador do benchmark.
• Portão de Desacordo de Ramos (Branch-Disagreement Gate): É acionado apenas se o ramo de pressão se compromete, mas o ramo neutro seguro ($y_0$) não o faz.
• Portão de Prioridade de Tarefa/Desacordo (Task-Prior/Disagreement Gate): Um híbrido que força o TPCD em categorias específicas (tempo e intenção humana) onde a neutralização segura é conhecida por falhar, caso contrário, recorre ao desacordo de ramos.
• Roteador de Desacordo de Resposta (Answer-Disagreement Router): Uma regra livre de prioridade de categoria que é acionada se $y_+$ se compromete, $y_0$ se abstém ou difere, e o próprio $y_{TPCD}$ deixa de se comprometer.

Protocolo Experimental

O estudo utiliza o benchmark tone-matters (800 exemplos em 8 categorias visualmente subdeterminadas).

• Divisão de Design: O LLaVA-1.5-7B é usado para definir as regras dos portões.
• Validação em Modelo Retido (Held-Out): O GLM-4.6V e o Llama-3.2-Vision são usados como famílias de modelos retidos para testar regras fixas sem reajuste (re-tuning).
• Métricas: Taxa de Sucesso de Ataque (ASR) para negativos e Acurácia Positiva (recuperação de alvo) para um conjunto correspondente de 780 controles positivos.

3. Resultados Principais

Desempenho no LLaVA-1.5-7B (Modelo de Design)

• Baseline de Pressão: 66,75% ASR.
• Neutralização Segura: Reduz o ASR para 9,88%, mas retém algumas alucinações.
• TPCD Total: Reduz drasticamente o ASR para 0,50%, mas colapsa a acurácia positiva para 15,56% devido à recusa excessiva.
• Portão de Prioridade de Tarefa/Desacordo: Alcança o melhor equilíbrio no conjunto de design, reduzindo o ASS para 1,63% enquanto mantém 54,44% de acurácia positiva (igualando o baseline seguro).

Transferência entre Modelos (GLM e Llama)

Quando regras fixas derivadas do LLaVA são aplicadas ao GLM-4.6V e Llama-3.2-Vision:

• Neutralização Segura: ASR agregada de 10,98%.
• Prioridade de Tarefa/Desacordo: Reduz o ASR agregado para 4,90% com 73,78% de acurácia positiva.
• Roteador de Desacordo de Resposta: Uma regra livre de prioridade de categoria que reduz o ASR para 6,93% enquanto alcança 79,94% de acurácia positiva.
• Desacordo de Ramos: Reduz o ASR para 9,67% com 79,94% de acurácia positiva.

Diagnóstico de Mecanismo (POPE)

Um diagnóstico de primeiro token no benchmark POPE mostra que a pressão aumenta a margem do "sim" tanto para falsos positivos quanto para verdadeiros positivos. No entanto, ramos de instrução genericamente perturbados (como ICD) não isolam o mesmo sinal de compromisso que o ramo de pressão, confirmando a especificidade do TPCD para o viés de tom.

4. Contribuições

1. Formulação do Viés de Compromisso: O artigo enquadra a alucinação induzida por pressão como um viés de compromisso e introduz o TPCD como uma variante de decodificação contrastiva direcionada, distinta de métodos genéricos de instrução perturbada.
2. Portões Operacionais Sem Rótulos: Avalia e caracteriza várias estratégias de roteamento que utilizam apenas saídas do modelo (regras de superfície, desacordo) para mitigar alucinações sem rótulos externos.
3. Evidência Entre Modelos: Fornece evidência em escala total (n=800 negativos, n=780 positivos) através de três famílias de modelos, demonstrando que a subtração de pressão é um sinal de mitigação viável que se transfere, embora o roteamento ideal dependa do modelo.
4. Caracterização de Limitações: O trabalho identifica explicitamente o "Gargalo de Portão Sem Rótulos" (Label-Free Gating Bottleneck), mostrando que os portões atuais não são detectores de fundamentação independentemente validados e frequentemente dependem de formas superficiais ou prioridades de categoria.

5. Significância e Alegações

O artigo conclui com uma alegação modesta e restrita:

• A pressão é um probe útil: A distribuição de resposta à pressão expõe efetivamente o viés de compromisso e serve como um ramo negativo viável para decodificação contrastiva.
• A mitigação é possível, mas imperfeita: Regras de roteamento simples podem reduzir significamente o ASR em comparação com a neutralização segura, preservando a acurácia positiva em modelos retidos.
• Não há uma solução geral ainda: Os portões atuais não são detectores de fundamentação independentemente validados e conscientes do contexto. Eles são baseados em heurísticas de forma superficial e frequentemente dependem de prioridades de categoria específicas do benchmark.
• Direção Futura: O principal gargalo permanece no desenvolvimento de um roteador consciente da fundamentação (grounding-aware router) que possa determinar independentemente quando a evidência visual é fraca o suficiente para justificar a subtração do compromisso induzido pela pressão, em vez de depender de heurísticas de nível de superfície.

Os autores enfatizam que este é um artigo de caracterização que demonstra a promessa e a não universalidade da subtração de pressão, e não um roteador geral finalizado e pronto para implantação.