AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions

Este artigo apresenta o AQuA, um dataset de perguntas visuais ambíguas com quatro níveis de classificação e estratégias de resposta correspondentes, que permite o ajuste fino de Modelos de Linguagem Visuais para gerar respostas estratégicas e contextualmente apropriadas, superando os modelos existentes que tendem a fornecer respostas excessivamente confiantes em situações ambíguas.

O essencial

Imagine que você está conversando com um assistente de IA muito inteligente, mas um pouco "rígido". Você aponta para uma foto cheia de coisas e pergunta: "De que cor é este carro?".

Se a foto tiver apenas um carro, o assistente responde: "É vermelho". Fácil, certo?

Mas e se a foto tiver cinco carros diferentes? Um amarelo, um azul, um vermelho, um preto e um branco? Um humano, ao ouvir essa pergunta, pensaria: "Espera aí, qual carro ele quer dizer? O que está na frente? O que está no fundo? Preciso pedir para ele especificar."

No entanto, os modelos de IA atuais (como o GPT, Gemini, etc.) tendem a ser demasiadamente confiantes. Eles olham para os cinco carros, escolhem um aleatoriamente (geralmente o mais óbvio) e dizem: "É azul!", mesmo que você estivesse olhando para o vermelho. Eles não sabem quando devem pedir esclarecimentos e quando devem apenas dar uma resposta.

É aqui que entra o rAQUA, o tema deste novo artigo de pesquisa.

O Problema: A IA que não sabe quando "pedir ajuda"

Os pesquisadores descobriram que as IAs atuais são ótimas em responder perguntas claras, mas falham miseravelmente quando a pergunta é ambígua (duvidosa). Elas não têm a "intuição" humana de saber que, às vezes, a melhor resposta não é um chute, mas sim uma pergunta de volta: "Qual carro você quer dizer?".

A Solução: O "Menu de Estratégias" (AQUA)

Para consertar isso, os autores criaram um novo conjunto de dados chamado AQUA (Ambiguous Visual Question Answering). Pense no AQUA como um manual de instruções de etiqueta para IAs, dividido em quatro níveis de "confusão":

1. Nível 0 (Tudo Claro): A pergunta é direta. A IA deve responder direto.
   • Analogia: Você pergunta "Qual é a cor da maçã?" e só há uma maçã na mesa. A IA diz: "Vermelha".
2. Nível 1 (Pouca Confusão, Mas Contexto Ajuda): A pergunta usa palavras vagas como "isto" ou "aquilo", mas só existe um objeto óbvio na foto. A IA deve usar o contexto para adivinhar e responder.
   • Analogia: Você aponta para uma pilha de livros e pergunta "Qual é o mais grosso?". Só há um livro grosso. A IA diz: "O que está no topo". Ela não precisa perguntar nada.
3. Nível 2 (Várias Opções Válidas): Existem 2 ou 3 objetos que poderiam ser o alvo. A IA não deve escolher um e chutar; ela deve listar as opções.
   • Analogia: Você pergunta "Quem está jogando bola?" e há dois jogadores. A IA diz: "Pode ser o jogador de camisa azul ou o de camisa vermelha". Ela não chuta, ela dá as alternativas.
4. Nível 3 (Muita Confusão): Existem muitos objetos iguais e é impossível saber qual é o alvo. A IA deve pedir esclarecimento.
   • Analogia: Você pergunta "Qual é a cor deste carro?" em uma foto de um estacionamento lotado. A IA diz: "Há muitos carros aqui. Qual deles você quer dizer? O da esquerda ou o da direita?".

O Treinamento: Ensinando a IA a "Pensar"

Os pesquisadores pegaram modelos de IA existentes e os treinaram com o AQUA usando duas técnicas:

1. Aprendizado Supervisionado (SFT): Eles mostraram milhares de exemplos de como responder a cada um desses 4 níveis.
2. Otimização de Política (GRPO): Eles criaram um "treinador" que dava pontos (recompensas) quando a IA escolhia a estratégia certa. Se a IA chutava em vez de pedir ajuda quando deveria, perdia pontos. Se ela pedia ajuda corretamente, ganhava pontos.

O Resultado: IAs mais "Humanas"

O resultado foi impressionante. As IAs treinadas com o AQUA:

• Pararam de ser arrogantes: Elas pararam de dar respostas confiantes quando não tinham certeza.
• Aprenderam a estratégia: Elas agora sabem quando responder, quando listar opções e quando pedir ajuda.
• Superaram os gigantes: Mesmo sendo modelos menores, eles performaram melhor do que os modelos gigantes e caros (como o GPT-5 ou Gemini) que não foram treinados especificamente para lidar com essa ambiguidade.

Conclusão

Em resumo, este paper diz que, para uma IA ser verdadeiramente inteligente no mundo real (onde as coisas são confusas e ambíguas), ela não precisa apenas de mais dados ou de ser maior. Ela precisa aprender a estratégia de comunicação.

Assim como um bom atendente de loja não chuta qual produto o cliente quer quando há vários parecidos, mas sim pergunta: "Você está procurando o azul ou o vermelho?", a nova IA aprendeu a fazer o mesmo. Isso torna a interação com computadores muito mais natural, segura e útil para o dia a dia.

Resumo técnico

Título: rAQUA: Rumo à Geração de Respostas Estratégicas para Perguntas Visuais Ambíguas

1. Problema Identificado

O Visual Question Answering (VQA) é uma tarefa central para avaliar a capacidade de Modelos Visão-Linguagem (VLMs). No entanto, os benchmarks existentes focam predominantemente em pares imagem-pergunta claros e não ambíguos.

• A Lacuna: Cenários do mundo real frequentemente envolvem ambiguidades que exigem raciocínio matizado e estratégias de resposta apropriadas ao contexto.
• Limitação Atual: Estudos recentes sobre ambiguidade em VQA carecem de:
  1. Uma categorização sistemática dos níveis de ambiguidade.
  2. Conjuntos de dados e modelos que suportem respostas "conscientes de estratégia" (ou seja, que não apenas respondam ou peçam esclarecimento, mas escolham a melhor abordagem).
• Comportamento dos Modelos: Modelos atuais (abertos e fechados) tendem a ser excessivamente confiantes, fornecendo respostas arbitrárias mesmo quando a pergunta é ambígua, em vez de inferir contexto, listar alternativas ou solicitar esclarecimentos quando necessário.

2. Metodologia

A. O Conjunto de Dados AQUA (Ambiguous Visual Question Answering)

Os autores introduzem o AQUA, um conjunto de dados sintético de alta granularidade construído a partir de imagens do COCO. O dataset classifica instâncias de VQA ambíguas em quatro níveis distintos, baseados na natureza e no grau da ambiguidade, cada um exigindo uma estratégia de resposta específica:

• Nível 0 (Perguntas Não Ambíguas): Casos padrão com respostas únicas e claras (grupo de controle).
• Nível 1 (Ambiguidade Referencial de Baixo Nível): Perguntas usam termos como "isto" ou "aquilo", mas o contexto visual torna o referente óbvio (ex: um objeto saliente).
  • Estratégia Ideal: Inferir o referente do contexto e responder diretamente.
• Nível 2 (Múltiplas Interpretações Válidas): Existem 2 ou 3 alvos plausíveis na imagem.
  • Estratégia Ideal: Listar todas as opções plausíveis em vez de pedir esclarecimento (mais eficiente).
• Nível 3 (Alta Ambiguidade Exigindo Esclarecimento): A imagem contém muitos objetos similares ou a referência é totalmente obscura.
  • Estratégia Ideal: Solicitar explicitamente esclarecimento ao usuário, pois listar todas as opções seria ineficiente.

Geração e Filtragem:

• As perguntas e respostas são geradas usando GPT-5 com prompts específicos para cada nível.
• Um pipeline de filtragem rigoroso de três etapas (consistência de nível, validação de melhor ajuste e verificação de qualidade do mundo real) é aplicado, seguido por validação humana no Amazon Mechanical Turk (MTurk).
• O dataset final possui 7.200 amostras (3.6k para treino, 3.6k para teste), equilibradas entre os quatro níveis.

B. Treinamento e Otimização do Modelo

Para ensinar os VLMs a selecionar estratégias adaptativas, os autores utilizam uma abordagem de dois estágios em modelos de código aberto (Qwen2.5-VL-3B e InternVL3-2B):

1. Fine-Tuning Supervisionado (SFT): Ensina o modelo o espaço de possíveis respostas para cada nível de ambiguidade.
2. Otimização de Política Relativa em Grupo (GRPO): Como o SFT sozinho não otimiza diretamente a escolha estratégica, aplica-se o GRPO.
   • Mecanismo de Recompensa: Um modelo "juiz" (GPT-5-mini) avalia a saída.
     • Recompensa = 1: Estratégia correta e sem alucinações.
     • Recompensa = 0.7: Estratégia correta, mas com distorção factual leve.
     • Recompensa = 0: Estratégia incorreta.
   • Isso força o modelo a aprender a escolher a estratégia certa (responder, listar ou pedir esclarecimento) baseada no grau de ambiguidade.

3. Contribuições Principais

1. Dataset AQUA: O primeiro recurso a fornecer uma categorização fina (4 níveis) de ambiguidade em VQA, permitindo treinamento e avaliação sistemáticos de seleção de estratégias.
2. Modelos Adaptativos: Demonstra que modelos de código aberto, quando ajustados no AQUA, superam modelos proprietários maiores (como GPT-5 e Gemini 2.5 Flash) em tarefas de VQA ambíguo, ao aprender a selecionar autonomamente estratégias contextualmente apropriadas.
3. Análise de Falhas: Identifica que a falha dos modelos base não é apenas a falta de conhecimento visual, mas a incapacidade de reconhecer a ambiguidade e adaptar a estratégia (tendendo a respostas de "uma única resposta certa" excessivamente confiantes).

4. Resultados Experimentais

• Desempenho de Baseline: Modelos zero-shot (incluindo GPT-5 e Gemini 2.5 Flash) apresentam baixa precisão estratégica (cerca de 22-27% no geral), falhando consistentemente nos Níveis 1, 2 e 3. Eles tendem a ignorar a ambiguidade e dar respostas diretas.
• Técnicas de Prompting: O uso de Chain-of-Thought (CoT) ou Strategy Prompting não resolve o problema significativamente, indicando que a capacidade estratégica precisa ser aprendida via treinamento, não apenas via instrução.
• Modelos Ajustados (AQUA Tuned):
  • Os modelos Qwen2.5-VL-3B-Tuned e InternVL3-2B-Tuned alcançam ~80-86% de precisão estratégica global.
  • Eles demonstram a capacidade de:
    • Reconhecer ambiguidade.
    • Gerenciar incerteza.
    • Responder com estratégias apropriadas (resposta direta, inferência contextual, enumeração ou esclarecimento).
  • Superam tanto modelos open-source maiores quanto modelos closed-source de ponta.
• Generalização: Os modelos treinados no COCO generalizam bem para imagens do Open Images V7, mantendo a capacidade de escolher estratégias corretas.
• Validação de Esclarecimento: Em um experimento de duas rodadas, quando o modelo pede esclarecimento (Nível 3) e recebe uma dica, ele consegue responder corretamente em 80% dos casos, validando a eficácia dessa estratégia.

5. Significado e Conclusão

O trabalho rAQUA destaca que a inteligência visual não é apenas sobre responder perguntas, mas sobre gerenciar a incerteza de forma estratégica, imitando o comportamento humano.

• Mudança de Paradigma: Move o foco de "responder sempre" para "escolher como responder".
• Eficiência: Mostra que modelos menores, quando bem treinados com dados estruturados de ambiguidade, podem superar modelos massivos em tarefas que exigem raciocínio pragmático e adaptação contextual.
• Futuro: Sugere que a próxima geração de VLMs deve ser avaliada não apenas pela precisão factual, mas pela sua capacidade de navegar em cenários ambíguos do mundo real, evitando alucinações e interações ineficientes.

Em resumo, o AQUA fornece a infraestrutura necessária para treinar modelos que não apenas "veem" e "falam", mas que "compreendem" o contexto de incerteza e agem estrategicamente.