Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems

1. Problema e Motivação

Os modelos de Visão e Linguagem (VLMs) e os Sistemas Multi-Agente (MAS) alcançaram desempenho notável em tarefas complexas. No entanto, existe uma lacuna crítica em sua confiabilidade: a incapacidade de reconhecer quando não possuem evidências suficientes para responder.

• Limitação Atual: A maioria dos paradigmas de avaliação assume que todas as instâncias são respondíveis, incentivando os modelos a sempre gerar uma resposta. Isso leva a alucinações e respostas excessivamente confiantes em cenários de incerteza epistêmica (ex: imagens oclusas, contexto ausente, informações contraditórias).
• O Desafio: Em aplicações de alto risco (saúde, jurídica), o comportamento correto em face de evidências insuficientes é a abstenção (reconhecer "não sei" ou "não posso responder"), em vez de tentar adivinhar.
• Definição de Abstenção Efetiva (EA): Um modelo deve abster-se se a resposta não puder ser determinada com base nas evidências disponíveis, incluindo casos onde múltiplas respostas são igualmente defensáveis.

2. Metodologia: O Benchmark MM-AQA

Os autores introduzem o MM-AQA (MultiModal Abstention Question Answering), um benchmark e framework de avaliação projetado especificamente para testar a capacidade de abstenção em sistemas multimodais.

Construção do Dataset

• Origem: Derivado de benchmarks existentes (MMMU e MMLongBench-Doc), transformando instâncias respondíveis em não respondíveis.
• Tamanho: 2.079 amostras (553 do Abstain-MMMU e 1.526 do Abstain-MMLongBench-Doc), com uma proporção aproximada de 1:1 entre respondíveis e não respondíveis.
• Eixos de Transformação: As instâncias são perturbadas de forma estruturada, não superficial, ao longo de dois eixos:
  1. Dependência de Modalidade (MMMU): Focado em tarefas onde a informação é distribuída entre texto e imagem. Transformações incluem:
     • Informação Visual Ausente: Mascaramento agressivo, recortes.
     • Ambiguidade de Oclusão: Desfoque extremo, subexposição.
     • Inviabilidade Semântica: Reescrita da pergunta para exigir informações inexistentes na imagem.
     • Ambiguidade Adversária: Introdução de múltiplas interpretações válidas.
  2. Suficiência de Evidência (MMLongBench-Doc): Focado em raciocínio em documentos longos. Transformações incluem:
     • Remoção de Evidência: Ocultação de páginas ou seções de tabelas.
     • Corrupção de Evidência: Alteração de números ou colunas de tabelas.
     • Contradição Semântica: Legendas geradas por IA que contradizem o conteúdo do documento.
     • Impossibilidade Inferencial: Perguntas sobre períodos de tempo fora do escopo do documento.

Validação de Qualidade

• Módulo de Controle de Qualidade (DC-QC): Dois VLMs independentes avaliam cada instância transformada. Se ambos concordarem que é "não respondível", a amostra é aceita.
• Validação Humana: Anotadores humanos validaram uma amostra estratificada, confirmando uma taxa de validação de 98% para as instâncias marcadas como não respondíveis.

Configuração Experimental

• Modelos Avaliados: Três VLMs de ponta (GPT-5, Claude Sonnet 4.5, Qwen 2.5-32B-VL).
• Arquiteturas:
  • VLM Standalone: Modelo único processando o prompt.
  • Sistema Multi-Agente (MAS): Arquitetura de três agentes (Raciocinador, Verificador, Orquestrador) operando em modos sequenciais e iterativos (até 3 rodadas). O Verificador tem o poder de rejeitar a resposta do Raciocinador e forçar a abstenção.
• Condições de Prompt:
  • Base: Resposta direta.
  • Confiança Verbal (vconf): Modelo fornece uma pontuação de confiança (1-5).
  • Cadeia de Pensamento (CoT): Modelo deve raciocinar passo a passo antes de responder.
  • Cláusulas de Abstenção: "Padrão" (livre para abster) vs. "Extrema" (pressão comportamental com consequências para erros).

Métricas

Utilização de uma matriz de confusão de 5 vias e quatro métricas principais:

1. AAC (Answerable Accuracy): Precisão em perguntas respondíveis.
2. UAC (Unanswerable Accuracy): Precisão em abster-se corretamente em perguntas não respondíveis.
3. AR (Abstention Rate): Taxa geral de abstenção.
4. MCC (Matthews Correlation Coefficient): Métrica robusta que equilibra AAC e UAC, tratando erros em perguntas não respondíveis (hallucinations) como falsos positivos.

3. Principais Resultados

1. Falha na Abstenção sob Prompting Padrão

• Sob condições padrão, os VLMs de ponta raramente abstenem-se. Eles tendem a alucinar respostas mesmo quando a evidência é claramente insuficiente.
• A UAC (precisão na abstenção) é extremamente baixa (ex: 1.2% para o Claude Sonnet no MM-AQA), indicando que os modelos não possuem calibração intrínseca para incerteza multimodal.

2. O Gap de Sinal de Confiança

• Métricas de confiança verbal (vconf) e autoavaliação (P(True)) superam o prompting padrão, mas ainda são insuficientes.
• O modelo atribui confiança uniformemente alta, independentemente da respondibilidade, especialmente em tarefas perceptivas (MMMU).

3. Trade-off Precisão-Abstenção em Sistemas Multi-Agente

• O uso de agentes verificadores melhora significativamente a abstenção (aumentando a UAC para >70-90% em alguns casos), mas introduz um trade-off severo: a precisão em perguntas respondíveis (AAC) cai drasticamente.
• Nenhum sistema testado conseguiu superar simultaneamente 65% tanto em AAC quanto em UAC.
• A abstenção no MAS é imposta pelo Verificador, não emergente do raciocínio do modelo.

4. Iteração vs. Sequencial

• Arquiteturas iterativas (múltiplas rodadas de debate/verificação) não superaram consistentemente as sequenciais.
• Em alguns casos, mais rodadas amplificaram a má calibração em vez de corrigi-la, sugerindo que o gargalo não é a profundidade do raciocínio, mas a calibração fundamental do modelo.

5. Sensibilidade à Estrutura da Evidência

• Os modelos abstenem-se mais facilmente quando a não respondibilidade é estruturalmente explícita (ex: página faltando, pergunta quebrada).
• Eles tentam "reconciliar" ou recuperar respostas quando a evidência está presente, mas degradada ou contraditória (ex: texto contraditório com imagem intacta), falhando em reconhecer a impossibilidade de uma resposta única.

6. Lacuna com o Especialista Humano

• O desempenho dos melhores sistemas (MCC ≈ 0.34) está a cerca de 0.49 pontos de distância do "oráculo humano" estimado (MCC ≈ 0.83). Isso confirma que os sistemas atuais não conseguem nem metade do caminho para o nível de abstenção de um especialista humano.

4. Contribuições Chave

1. MM-AQA: O primeiro benchmark abrangente e principiado para avaliar a abstenção em raciocínio multimodal, com transformações que simulam falhas realistas.
2. Taxonomia de Transformação: Uma classificação rigorosa de como a não respondibilidade pode ser induzida (dependência de modalidade vs. suficiência de evidência).
3. Evidência Empírica: Demonstração de que prompting avançado e sistemas multi-agente, por si só, não resolvem o problema de alucinação e falta de abstenção.
4. Direção Futura: Evidência de que a solução não está em mais agentes ou prompts melhores, mas sim em treinamento consciente da abstenção (abstention-aware training).

5. Significado e Conclusão

O artigo conclui que a confiabilidade de sistemas multimodais em cenários de alto risco está comprometida pela incapacidade atual de reconhecer limites de conhecimento. A descoberta de que modelos "suprimem" sinais de incerteza latente em vez de não possuí-los sugere que a solução requer mudanças fundamentais no treinamento (fine-tuning com exemplos graduais de abstenção) e não apenas ajustes na inferência.

O trabalho estabelece um novo padrão para avaliação de honestidade e confiabilidade em IA, mostrando que, embora os modelos sejam poderosos, eles ainda não sabem "quando não responder", o que é crucial para a segurança em aplicações do mundo real.