Resumo Técnico: SENTINEL

Declaração do Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) avançaram na compreensão cross-modal, mas sofrem de alucinações de objetos, onde os modelos geram texto semanticamente coerente, porém factualmente inconsistente com a entrada visual. Estratégias existentes de mitigação enfrentam limitações significativas:

• Métodos baseados em decodificação (por exemplo, decodificação contrastiva) frequentemente incorrem em custos computacionais proibitivos e aumento na latência de inferência.
• Métodos de alinhamento de preferência frequentemente dependem de recursos externos caros, como Modelos de Linguagem Grandes (LLMs) proprietários para reescrita ou anotadores humanos para curadoria de dados. Além disso, esses métodos frequentemente introduzem desajustes de distribuição entre os dados de treinamento (reescritos por modelos externos) e a distribuição de saída original do modelo-alvo, o que pode prejudicar as capacidades de generalização.

Metodologia: SENTINEL

Os autores propõem o SENTINEL (Intervenção Precoce em Nível de Frase Através de Aprendizado de Preferência no Domínio), um framework projetado para mitigar alucinações intervindo no estágio mais inicial de sua ocorrência, sem depender de reescrita externa ou anotação humana. O método opera através de seis etapas-chave:

1. Inicialização de Candidatos no Domínio:

   • O MLLM atual gera múltiplas respostas candidatas via amostragem.
   • Objetos mencionados nessas saídas são extraídos usando um Scene-GraphParser.
   • Validação Cruzada: Dois detectores de objetos de vocabulário aberto (GroundingDINO e YOLO World) são usados para verificar cruzadamente a existência desses objetos na imagem de entrada.
   • Os objetos são classificados como factuais (ambos os detectores confirmam presença), alucinados (ambos confirmam ausência) ou incertos. Frases contendo objetos alucinados são marcadas como amostras negativas; aquelas com apenas objetos factuais são amostras positivas. Objetos incertos são ignorados para garantir a qualidade dos dados.

2. Geração de Dados de Preferência Consciente do Contexto:

   • O framework constrói pares de preferência $(y_w^+, y_l)$ onde $y_w^+$ é uma frase não alucinada e $y_l$ é uma frase alucinada.
   • Crucialmente, a amostra positiva $y_w^+$ é selecionada para ser coerente com o contexto, o que significa que os objetos descritos na frase são explicitamente referenciados ou logicamente conectados ao contexto precedente. Isso contrasta com amostras agnósticas ao contexto, que os autores encontram menos eficazes para generalização.

3. Inicialização Contextual Iterativa (ICB):

   • Para aumentar a robustez em diversos cenários, o framework estende iterativamente o contexto de geração. Após identificar uma amostra positiva não alucinada, ela é anexada ao contexto $c$ para a próxima iteração. Isso permite que o modelo aprenda de contextos progressivamente complexos e variados, mantendo uma fundação livre de alucinações.

4. Aprendizado de Preferência Consciente do Contexto (C-DPO):

   • O modelo é treinado usando uma função de perda modificada de Otimização Direta de Preferência (DPO), denominada C-DPO.
   • A entrada para o modelo de política é aumentada com o contexto $c$: $x' = [v, q, c]$.
   • A função de perda maximiza a probabilidade de gerar a amostra positiva coerente com o contexto $y_w^+$, enquanto minimiza a amostra negativa alucinada $y_l$.
   • Design Chave: O contexto $c$ é excluído do cálculo da perda (mascarado). Os gradientes são derivados exclusivamente da discriminação entre $y_w^+$ e $y_l$, garantindo que o modelo aprenda a distinguir alucinações em nível de frase sem ser enviesado pelos tokens de contexto durante a otimização.

Contribuições Principais

1. Insight de Intervenção Precoce: Os autores demonstram, através de análise, que a intensidade da alucinação escala com o comprimento do texto e que intervir na primeira ocorrência de uma alucinação previne significativamente sua propagação em saídas subsequentes.
2. Framework Eficiente e no Domínio: O SENTINEL elimina a dependência de modelos proprietários externos ou anotadores humanos. Ao usar as próprias saídas do modelo e detectores leves de vocabulário aberto, ele constrói dados de preferência de alta qualidade e consistentes em estilo.
3. Desempenho Agnóstico ao Modelo: O método alcança resultados state-of-the-art em benchmarks de alucinação, preservando ou melhorando capacidades gerais, demonstrando que o aprendizado de preferência no domínio é superior a abordagens baseadas em reescrita.

Resultados Experimentais

Experimentos foram conduzidos nos modelos LLaVA-v1.5 (7B e 13B) em múltiplos benchmarks:

• Mitigação de Alucinações:

  • No Object HalBench, o SENTINEL reduziu a taxa de alucinação em nível de resposta de 52,7% (linha de base) para 4,3% no modelo 7B, superando o SOTA anterior (TPO) por uma margem significativa.
  • No AMBER, as alucinações foram reduzidas em aproximadamente 92% (Object HalBench) e 65% (AMBER) em comparação com o modelo original.
  • O método reduziu efetivamente as alucinações em todas as seis categorias (Existência, Atributo, Estado, Relação, Ação, Número).

• Capacidades Gerais:

  • Ao contrário de muitos métodos de mitigação que degradam o desempenho geral, o SENTINEL manteve ou melhorou as pontuações em VQAv2, TextVQA, ScienceQA e MM-Vet.
  • Por exemplo, no MM-Vet, o modelo 7B melhorou de 31,0 para 32,6, e o modelo 13B melhorou de 36,0 para 36,2.

• Estudos de Ablação:

  • Reescrita vs. No Domínio: O treinamento em dados reescritos (via GPT-4) resultou em degradação de desempenho, confirmando a importância de preservar a distribuição intrínseca do modelo.
  • Coerência Contextual: O uso de amostras positivas coerentes com o contexto ($y_w^+$) produziu melhores resultados do que amostras agnósticas ao contexto.
  • Verificação Cruzada: O uso de dois detectores para validação superou significativamente as abordagens de detector único.
  • Escalabilidade: O desempenho melhorou conforme a escala dos dados de treinamento aumentou, demonstrando a eficiência do método em utilizar conjuntos de dados maiores sem anotação custosa.

Significado e Alegações

O artigo afirma que o SENTINEL oferece uma solução escalável, eficiente e agnóstica ao modelo para aprimorar a confiabilidade dos MLLMs. Seu significado principal reside em mudar o paradigma de intervenções externas caras e que deslocam a distribuição para intervenção precoce no domínio, em nível de frase. Ao focar no momento preciso em que as alucinações emergem e aproveitar a própria distribuição do modelo, o SENTINEL freia com sucesso a propagação de erros sem comprometer as capacidades gerais de raciocínio ou geração de linguagem do modelo.

Os autores notam uma limitação: o framework atual carece de capacidades de raciocínio espaço-temporal, o que significa que pode não abordar totalmente questões de alucinação em MLLMs baseados em vídeo que exigem raciocínio de longo prazo. No entanto, para a compreensão de imagens estáticas, ele estabelece um novo padrão para mitigação eficiente de alucinações.