FewMMBench: A Benchmark for Multimodal Few-Shot Learning

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) avançaram significativamente no processamento de dados intercalados de imagem e texto. No entanto, avaliar suas capacidades de Aprendizado com Poucos Exemplos (Few-Shot Learning) permanece um desafio aberto. Embora benchmarks existentes (como MMBench e SeedBench) ofereçam avaliações detalhadas, a maioria foca em cenários zero-shot ou em habilidades isoladas. Falta uma avaliação sistemática que teste MLLMs em configurações few-shot com in-context learning (ICL) e Chain-of-Thought (CoT), especialmente considerando a intercalação de fluxos de imagem-texto e a seleção de exemplos demonstrativos.

2. Metodologia: FEWMMBENCH

O artigo introduz o FEWMMBENCH, um benchmark abrangente projetado para avaliar MLLMs sob condições de poucos exemplos. A metodologia envolve:

• Criação do Conjunto de Dados:
  • O benchmark cobre 9 tarefas diversas, variando de percepção de baixo nível (reconhecimento de atributos, contagem de objetos) a raciocínio de alto nível (relações espaciais, inferência temporal, raciocínio de senso comum e resolução de coreferência).
  • Seleção de Exemplos: Utiliza uma estratégia de seleção baseada em Graph Cut (otimização submodular) para construir conjuntos de suporte. Isso garante que os exemplos demonstrativos sejam semanticamente relevantes (recuperados por similaridade) e diversos, evitando redundância.
  • Geração de CoT: Racionalidades de Chain-of-Thought são geradas automaticamente usando o modelo Qwen2.5-VL-7B-Instruct e refinadas iterativamente (com correção de respostas erradas) para garantir alta qualidade factual.
• Configuração Experimental:
  • Foram avaliados 26 MLLMs de peso aberto de seis famílias principais (Qwen, InternVL, Idefics, Phi, LLaVA e xGen-MM), com tamanhos variando de 0,5B a 9B parâmetros.
  • Cenários de Avaliação: Zero-shot, Few-shot aleatório (4 e 8 exemplos), Few-shot baseado em recuperação (exemplos semanticamente similares) e Few-shot com CoT.
  • Métricas: Precisão baseada em escolha múltipla, além de comparações em pares baseadas em perplexidade e quantificação de incerteza.

3. Principais Contribuições

1. Framework Controlado: Introduz um framework que suporta simultaneamente exemplos demonstrativos aleatórios e semanticamente similares, utilizando seleção baseada em Graph Cut para equilibrar relevância e diversidade.
2. Análise de Raciocínio: Fornece racionalidades CoT detalhadas dentro dos exemplos, permitindo uma análise sistemática de como modelos multimodais aplicam padrões de raciocínio em contexto.
3. Protocolo de Avaliação Exhaustivo: Vai além da simples precisão de resposta, incluindo comparações de perplexidade e quantificação de incerteza para mitigar a sensibilidade à ordem dos exemplos no ICL.

4. Resultados e Descobertas Chave

Os experimentos revelaram quatro descobertas fundamentais que desafiam intuições comuns sobre ICL em modelos multimodais:

• Limitações do Few-Shot em Modelos Ajustados (Instruction-Tuned): Modelos ajustados para instruções (como Qwen2.5-VL e InternVL3) exibem forte desempenho zero-shot. Adicionar demonstrações (few-shot) ou raciocínio passo a passo (CoT) não melhora consistentemente o desempenho; em muitos casos, causa uma leve regressão ou estagnação. Isso sugere que o ajuste de instruções já equipou esses modelos com estratégias eficazes, deixando pouco espaço para ganhos adicionais via ICL.
• Ineficácia da Recuperação Semântica: A seleção de exemplos baseada em similaridade semântica (retrieval-based) não oferece vantagem consistente sobre a seleção aleatória. Isso indica que os MLLMs atuais podem não estar aproveitando eficazmente as pistas distribucionais finas dos exemplos recuperados ou que a geração é impulsionada principalmente pela consulta em si.
• Mais Exemplos Não Garantem Melhor Desempenho: Aumentar o número de exemplos de 4 para 8 não resulta em ganhos consistentes. Em vários casos, a precisão diminui, possivelmente devido à "diluição do contexto" (ruído ou distração) ou saturação do sinal útil.
• Degradação com Chain-of-Thought (CoT): Surpreendentemente, o uso de CoT reduz o desempenho em todos os modelos e tipos de tarefas testados no FEWMMBENCH. O raciocínio passo a passo parece introduzir alucinações, elaborações desnecessárias ou distrair o modelo do grounding visual essencial, revelando uma incompatibilidade entre as estratégias atuais de CoT e as necessidades do raciocínio multimodal.

5. Significado e Conclusão

O FEWMMBENCH serve como um campo de testes rigoroso para diagnosticar as limitações atuais dos MLLMs. Os resultados indicam que:

• As técnicas de prompting que funcionam bem em LLMs puramente textuais (como CoT e ICL com exemplos similares) ainda não foram adaptadas eficazmente para o domínio multimodal.
• Existe uma lacuna crítica na capacidade dos modelos de generalizar a partir de poucos exemplos ou seguir pistas de raciocínio complexo quando a percepção visual é fundamental.
• O benchmark destaca a necessidade de desenvolver estratégias de prompting sensíveis à modalidade e melhorar a alinhamento entre entrada visual e lógica textual para superar a fragilidade atual do raciocínio multimodal.

Em suma, o trabalho fornece uma base crítica para o desenvolvimento futuro de MLLMs mais robustos e explicáveis, focando na melhoria da capacidade de aprendizado com poucos exemplos e raciocínio multimodal.