Resumo Técnico: CEDI – Avaliação Contextualizada de MLLMs através de Interações Dinâmicas e de Múltiplos Turnos

Declaração do Problema

Apesar dos avanços substanciais em Modelos de Linguagem de Grande Escala Multimodais (MLLMs) em benchmarks estáticos, sua eficácia em aplicações do mundo real permanece incerta. O problema central é um desalinhamento fundamental entre os paradigmas de avaliação atuais e o uso real. Os benchmarks existentes são tipicamente estáticos, de turno único e conduzidos em ambientes controlados, enquanto as interações de MLLMs no mundo real são inerentemente dinâmicas, de múltiplos turnos e contextualizadas. Essa lacuna impede a detecção de modos de falha — especificamente alucinações visuais (gerar saídas infiéis ao conteúdo da imagem) — que só emergem durante diálogos complexos e interativos. Além disso, os métodos de avaliação atuais frequentemente falham em capturar o acúmulo de erros ao longo de contextos longos ou a incapacidade do modelo de rejeitar premissas falsas.

Metodologia: O Framework CEDI

Os autores propõem o CEDI (Avaliações Contextualizadas de MLLMs através de Interações Dinâmicas de múltiplos turnos), um framework que redefine a avaliação como uma interação de três partes:

1. O Avaliado (Evaluatee): O MLLM sendo testado.
2. O Examinador (Examiner): Um agente automatizado que conduz uma entrevista semiestruturada de múltiplos turnos.
3. O Avaliador (Grader): Um agente automatizado que pontua o diálogo quanto à fidelidade e cobertura.

1. Examinador Dinâmico e Contextualizado

Inspirado em entrevistas de avaliação humanas, o examinador adapta sua estratégia de questionamento com base nas respostas do modelo.

• Representação por Grafo de Cena: Para garantir que as perguntas sejam fundamentadas em evidências visuais em vez de priors linguísticos, o examinador utiliza um Grafo de Cena ($G = (V, E, A)$) representando objetos, relações e atributos.
• Modelagem de Contexto: O examinador simula um cenário de usuário em primeira pessoa com um objetivo específico (ex: "Sou uma pessoa com deficiência visual e preciso encontrar o banheiro"). Ele seleciona um subgrafo relevante ($G_s$) do grafo de cena completo para conduzir a conversa.
• Estratégia de Travessia: A entrevista é modelada como uma travessia sobre $G_s$. A cada turno, o examinador seleciona um nó alvo e gera um dos quatro tipos de pergunta:
  • Regular: Consultas fundamentadas em elementos observáveis.
  • Seguimento (Follow-up): Perguntas condicionadas ao diálogo anterior para testar a consistência.
  • Adversarial: Perguntas sobre objetos/relações plausíveis, mas ausentes, para testar a dependência de evidência visual versus coocorrência estatística.
  • Irrespondível (Unanswerable): Perguntas baseadas em premissas fabricadas (objetos/relações falsas) para testar a capacidade do modelo de rejeitar informações falsas.
• Escalonamento de Contexto: Para garantir uma ampla cobertura visual, o examinador gera múltiplos contextos distintos por imagem, expandindo a união dos subgrafos consultados sem exigir uma única legenda exaustiva.

2. Avaliador Baseado em Grafo de Cena

O avaliador analisa o histórico acumulado do diálogo em vez de respostas de turno único.

• Parsing: Um LLM analisa o histórico do diálogo para extrair um grafo de cena previsto ($\hat{G}$), filtrando por entidades físicas.
• Métricas: O avaliador compara $\hat{G}$ com o grafo de cena de verdade fundamental ($G^*$) usando:
  • Distância de Edição de Grafo (GED): Mede o custo das operações de edição (inserções, deleções, substituições) para transformar $\hat{G}$ em $G^*$. Inserções penalizam alucinações; deleções penalizam conteúdo ausente.
  • $\Delta$Con: Mede a similaridade estrutural via matrizes de afinidade de nós.
  • Decomposição: Os autores definem $GED_{hal}$ (isolando conteúdo alucinado) e $GED_{cov}$ (isolando conteúdo ausente) para desmembrar precisão e recall.

Principais Contribuições

1. Proposta de Framework: Introdução do CEDI, deslocando a avaliação de MLLMs de benchmarks estáticos para interações dinâmicas de três partes guiadas por grafos de cena.
2. Estratégia de Questionamento: Desenvolvimento de um protocolo de entrevista semiestruturado com quatro tipos distintos de perguntas (incluindo adversariais e irrespondíveis) projetados para elicitar comportos específicos de alucinação.
3. Métrica de Avaliação: Um avaliador baseado em grafo de cena que quantifica tanto a severidade da alucinação quanto a cobertura visual no nível do histórico do diálogo, oferecendo maior alinhamento com anotações humanas do que métricas existentes como CHAIR ou MMHal.
4. Validação Empírica: Avaliação abrangente através de diversos modelos (open-source e proprietários), datasets (VG, COCO, ADE20K) e domínios.

Resultados

• Aumento da Elicitação de Alucinações: O CEDI consistentemente expõe significativamente mais alucinações do que baselines baseados em legendas ou perguntas binárias (ex: POPE). No dataset Synthetic Visual Genome (SVG), o CEDI aumentou a cobertura em 3–19 pontos percentuais e a taxa de alucinação por turno (VALOR) em 5–23 pontos percentuais em comparação com baselines de legenda.
• Alinhamento Humano: A métrica $GED_{hal}$ mostra uma correlação de Pearson consistente ($\rho = 0,22–0,33$) com contagens de alucinação anotadas por humanos em todos os modelos, superando o CHAIR e o MMHal, que flutuam ou apresentam correlações negativas para certos modelos.
• Efeitos de Contexto e Histórico:
  • Escalonamento de Contexto: Aumentar o número de contextos por imagem melhora monotonicamente a detecção de alucinações e a cobertura.
  • Histórico de Diálogo: Os modelos alucinam com mais frequência quando têm permissão para ver seu próprio histórico de conversa, muitas vezes reforçando afirmações anteriores não sustentadas.
  • Tipos de Pergunta: Modelos são particularmente vulneráveis a perguntas "irrespondíveis" e "adversariais", que exigem a rejeição de premissas.
• Padrões de Erro: A análise qualitativa revela que as alucinações são dominadas por objetos inexistentes (62%), seguidos por atributos errados (20%) e relações erradas (15%).

Significância e Alegações

O artigo afirma que o CEDI representa um passo em direção a avaliações ecologicamente válidas de MLLMs. Ao simular interações realistas, orientadas por objetivos e de múltiplos turnos, o CEDI revela modos de falha que benchmarks estáticos não detectam, como o acúmulo de alucinações ao longo de contextos longos e a incapacidade de recusar premissas falsas. Os autores argumentam que este framework fornece uma base mais fiel para diagnosticar falhas de modelos e guiar o desenvolvimento de VLMs confiáveis para implantação no mundo real. Embora a instância atual foque em alucinação visual, os autores postulam que a formulação subjacente é generalizável para tarefas e aplicações mais amplas.