Discovering Failure Modes in Vision-Language Models using RL

1. Problema e Motivação

Os Modelos Visão-Linguagem (VLMs) alcançaram desempenho notável em benchmarks multimodais, mas ainda cometem erros que humanos raramente fazem, como falhas em raciocínio espacial, contagem, compreensão de pontos de vista e alucinação de objetos.

O problema central identificado pelos autores é que a descoberta atual desses modos de falha depende excessivamente de esforço manual:

• Limitações Manuais: A criação de benchmarks para identificar falhas é cara, não escalável e sujeita a viés cognitivo humano (tendendo a focar em objetos salientes e ignorando detalhes sutis).
• Limitações de Métodos Automáticos Atuais: Trabalhos recentes que usam LLMs para gerar perguntas ("questioners") operam em um regime de "laço aberto" (open-loop). Isso significa que o gerador de perguntas não se adapta às respostas do modelo alvo; ele gera perguntas estáticas sem aprender com os erros do modelo, resultando em falhas genéricas que não capturam as nuances específicas de um VLM particular.

2. Metodologia

Os autores propõem um framework baseado em Aprendizado por Reforço (RL) totalmente automatizado para descobrir modos de falha de qualquer VLM alvo em uma distribuição de dados específica. O sistema é composto por três agentes principais:

A. Arquitetura do Sistema

1. Questioner (Agente de RL): Um VLM treinado para gerar sequências de perguntas adaptativas. Ele interage com o ambiente (o modelo alvo) e aprende a maximizar a recompensa ao gerar perguntas que o modelo alvo responde incorretamente.
2. Answerer (Modelo Alvo): O VLM cujos modos de falha estão sendo descobertos. Seus parâmetros são congelados durante o treinamento.
3. Verifier (Verificador): Um VLM de raciocínio forte que avalia as perguntas e respostas para gerar o sinal de recompensa.

B. Formulação do Problema e Recompensa

O problema é formulado como um processo de decisão de Markov onde o objetivo é encontrar perguntas que sejam:

1. Válidas: Gramaticalmente corretas, atômicas, fundamentadas visualmente e objetivas.
2. Diversas: Semântica e lexicamente variadas.
3. Falhas: Respondidas incorretamente pelo modelo alvo.

A função de recompensa ($R_Q$) é composta por:

• Componente de Correção ($C_Q$): Recompensa se a resposta do modelo alvo estiver errada.
• Componente de Validade ($V_Q$): Penaliza perguntas inválidas.
• Componente de Diversidade ($\Delta_Q$):
  • Diversidade Semântica: Penaliza perguntas semanticamente similares a falhas já descobertas (usando similaridade de cosseno em embeddings).
  • Diversidade Lexical: Penaliza a repetição de prefixos de perguntas (ex: evitar que o agente pergunte apenas "Quantos...").
• Penalidade ($P_Q$): Penaliza a geração de perguntas inválidas para acelerar o treinamento.

O agente é treinado usando o algoritmo GRPO (Group Relative Policy Optimization).

C. Pipeline de Taxonomia de Falhas

Para categorizar os modos de falha descobertos, os autores propõem um pipeline automatizado de 4 estágios:

1. Identificação de Primitivas: Um VLM identifica as habilidades básicas necessárias para responder a cada pergunta.
2. Modelagem de Tópicos: Agrupamento de habilidades similares (usando BERTopic).
3. Extração de Habilidades: Padronização e fusão de nomes de tópicos usando um LLM.
4. Identificação de Meta-Habilidades: Agrupamento hierárquico em categorias maiores (ex: "Raciocínio Espacial", "Percepção de Atributos").

3. Contribuições Principais

1. Framework Automatizado de RL: Primeiro método a usar RL para adaptar dinamicamente a geração de perguntas às vulnerabilidades específicas de um modelo alvo, eliminando a necessidade de intervenção humana.
2. Descoberta de Modos de Falha Novos: Identificação de 36 modos de falha (habilidades) novos que não foram capturados por métodos anteriores ou benchmarks estáticos.
3. Análise Abrangente: Avaliação extensa comparando o método com baselines competitivos (Zero-Shot, SFT, Expert Iteration, ConMe) em métricas de potência e diversidade.
4. Generalização: Demonstração de que o framework funciona bem em diferentes combinações de modelos (Questioner e Answerer) e escalas.

4. Resultados Experimentais

Os experimentos foram realizados usando o conjunto de dados COCO e modelos da família Qwen (2.5-VL e 3-VL).

• Taxa de Descoberta de Falhas (FDR): O método RL alcançou uma FDR de 47,58%, superando significativamente o baseline de Expert Iteration (38,36%) e SFT (37,02%). A variante RL+SFT atingiu 50,73%.
• Diversidade:
  • Diversidade Semântica (SD): RL obteve 64,96 (vs. 61,78 do melhor baseline não-RL).
  • Diversidade Lexical (LD): RL obteve 0,53 (vs. 0,30 do Zero-Shot), indicando uma variedade muito maior de tipos de perguntas.
• Complexidade e Habilidades:
  • O método RL descobriu 131 habilidades únicas, comparado a 89 do SFT.
  • As perguntas geradas pelo RL exigem, em média, 3,30 habilidades simultâneas por consulta, indicando um teste de raciocínio mais complexo e composicional.
• Evolução Temporal: Durante o treinamento, o agente começa com perguntas diretas e evolui para perguntas complexas que exploram detalhes finos e "cauda longa" de falhas (ex: raciocínio espacial multi-hop).
• Generalização: O framework mantém alta eficácia mesmo quando o modelo alvo é mais forte (ex: 8B parâmetros), embora a FDR diminua naturalmente com a capacidade do modelo. O RL descobre falhas universais (ex: raciocínio de exclusão) e específicas do modelo.

5. Significado e Conclusão

Este trabalho representa uma mudança de paradigma na avaliação de VLMs:

• De Estático para Adaptativo: Substitui benchmarks manuais e estáticos por um processo de descoberta contínua e adaptativa.
• Diagnóstico Profundo: Permite identificar "pontos cegos" cognitivos sutis que seriam ignorados por avaliações humanas ou métodos estáticos.
• Escalabilidade: Oferece uma solução escalável para testar modelos à medida que eles evoluem, sem depender de curadoria humana massiva.

Os autores concluem que transformar a avaliação de VLMs em um problema de aprendizado contínuo via RL é essencial para desenvolver sistemas de visão-linguagem mais robustos e confiáveis, permitindo o fechamento do ciclo entre diagnóstico de falhas e correção (fine-tuning).