Resumo Técnico: CLBench-V

Declaração do Problema

Embora os grandes modelos de linguagem dependam cada vez mais de contexto específico de tarefas fornecido no momento da inferência, em vez de dependerem apenas de conhecimento paramétrico, as avaliações existentes dessa capacidade de "aprendizado de contexto" são predominantemente restritas a cenários textuais unimodais. Em aplicações do mundo real — como analisar figuras científicas, interpretar relatórios financeiros, navegar em mapas ou sintetizar informações baseadas na web — o contexto é inerentemente multimodal. Os benchmarks atuais falham em abordar as dificuldades específicas que os modelos enfrentam quando precisam localizar, vincular e raciocinar sobre evidências distribuídas entre texto, imagens, tabelas e layouts. Além disso, as avaliações existentes frequentemente têm dificuldade em distinguir onde o processo de aprendizado de contexto falha: se o modelo falha ao encontrar a evidência, ao aplicar incorretamente a informação encontrada ou ao ignorar as regras definidas pelo contexto em favor do conhecimento prévio.

Metodologia

O artigo apresenta o CLBench-V, um benchmark projetado para avaliar o aprendizado de contexto multimodal por meio de uma hierarquia estruturada de três níveis de capacidade. Esta hierarquia isola modos de falha específicos e dimensões diagnósticas:

1. L0: Fundamentação de Contexto (Context Grounding): Testa a capacidade do modelo de localizar, ler e combinar evidências de contextos multimodais sem a necessidade de aprender novas regras. As tarefas incluem busca visual, localização espacial e vinculação entre múltiplas imagens (ex: raciocínio de mapa de trânsito, busca visual de alta resolução).
2. L1: Aplicação de Nova Informação (New Information Application): Testa a capacidade de aplicar fatos, valores ou casos recém-fornecidos usando habilidades de raciocínio existentes, evitando a sobreposição de dados específicos do contexto com conhecimentos prévios desatualizados. As tarefas incluem QA de fatos visuais e análise de relatórios financeiros (ex: cálculo de ROE).
3. L2: Aprendizado de Novo Conhecimento (New Knowledge Learning): Testa a capacidade de adquirir novas regras, padrões empíricos ou conclusões científicas definidas apenas dentro do contexto e aplicá-las para responder a tarefas. As tarefas incluem inferir conclusões de artigos a partir de figuras médicas e seguir regras definidas pelo contexto em tabelas renderizadas em imagem.

Construção do Benchmark:
O CLBench-V é construído a partir de duas fontes complementares para garantir diversidade e profundidade diagnóstica:

• Integração de Dados: Benchmarks públicos (ex: ReasonMap, Insight-O3, ZeroBench, MIRBench, PRISMM-Bench) foram convertidos para um formato de entrada-saída unificado. Critérios rigorosos de curadoria foram aplicados para garantir a dependência visual, minimizar o contexto irrelevante, priorizar o raciocínio de múltiplos passos (multi-hop) e excluir tarefas de vídeo.
• Construção de Dados: Duas novas tarefas específicas de domínio foram criadas usando procedimentos de construção e filtragem automatizados para reduzir os custos de anotação, mantendo a qualidade:
  • Análise de ROE de Relatórios Financeiros: Os modelos devem calcular o Retorno sobre o Patrimônio Líquido (ROE) a partir de relatórios PDF convertidos usando a decomposição de DuPont padrão, exigindo fundamentação ao nível do documento e vinculação entidade-valor.
  • Inferência de Conclusão de Artigos: Os modelos recebem a introdução e os métodos de artigos médicos recentes (excluindo os resultados) e devem inferir descobertas científicas apoiadas pelas figuras e tabelas do artigo, testando a síntese de evidências multimodais.

Protocolo de Avaliação:
O benchmark utiliza um framework unificado com avaliadores específicos para cada tarefa. Saídas estruturadas (ex: múltipla escolha, numéricas) utilizam correspondência determinística ou juízes de topologia. Tarefas abertas utilizam julgamento semântico baseado em LLM, com métricas específicas como pontuação semântica de nível de lista para artigos científicos para penalizar a super-predição.

Principais Resultados

Experimentos foram conduzidos em 3.443 instâncias através de seis modelos multimodais recentes (incluindo InternVL3.5, Qwen3.5/3.6, Doubao-Seed, Kimi-K2.6 e GPT-5.4).

• Desempenho Geral: O aprendizado de contexto multimodal ainda está longe de estar saturado. A melhor pontuação geral alcançada por qualquer modelo foi 0.2847 (InternVL3.5-30B-A3B), indicando uma margem significativa para melhorias.
• Disparidades de Capacidade: Os modelos exibem forças distintas através da hierarquia:
  • O InternVL3.5-30B-A3B teve o melhor desempenho em L0 (Fundamentação de Contexto) e L2 (Aprendizado de Novo Conhecimento), particularmente na inferência de conclusão de artigos.
  • Qwen3.5-Plus e Qwen3.6-27B tiveram o melhor desempenho em L1 (Aplicação de Nova Informação), mostrando habilidades mais fortes na aplicação de valores específicos do documento.
  • Nenhum modelo único dominou todos os datasets; o desempenho variou significativamente com base no tipo de tarefa (ex: topologia de rota vs. inteligência espacial).
• Insights Diagnósticos:
  • Comprimento de Contexto e Contagem de Imagens: O desempenho não foi estritamente correlacionado com o comprimento de tokens dentro da janela de contexto de um modelo. No entanto, entradas extremamente longas (especificamente relatórios financeiros) causaram falhas quando excederam os limites do modelo. A contagem de imagens mostrou efeitos dependentes do modelo, atuando como evidência mais rica para alguns modelos, mas como distração visual para outros.
  • Modos de Falha: A análise identificou seis tipos comuns de falha: evidência ausente, erro de vinculação de evidência, uso incorreto do contexto, sobreposição de conhecimento prévio, indução incompleta e falha de formato.
  • Confiabilidade do Juiz: A escolha do juiz LLM para avaliação semântica impactou significativamente as pontuações relatadas, destacando a necessidade de transparência no relato de métricas de avaliação.

Significância e Alegações

O artigo afirma que o CLBench-V fornece um framework diagnóstico necessário para o aprendizado de contexto multimodal ao ir além de simples testes de recuperação ou de capacidade de contexto longo. Sua principal significância reside em:

1. Diagnóstico Granular: Ao separar fundamentação, aplicação e aprendizado, o benchmark revela que aceitar entrada multimodal é insuficiente para o uso confiável de contexto; os modelos podem ser excelentes em um nível enquanto falham em outro.
2. Relevância no Mundo Real: A inclusão dos domínios financeiro e científico aborda a lacuna onde os contextos do mundo real são inerentemente multimodais e exigem a síntese de evidências de figuras, tabelas e textos.
3. Construção Escalável: O artigo demonstra que a construção e filtragem automatizadas podem gerar tarefas de aprendizado de contexto de alta qualidade e específicas de domínio, reduzindo o custo de expansão do benchmark.

Os autores posicionam o CLBench-V não como uma solução final, mas como um passo inicial para guiar o desenvolvimento de sistemas multimodais que possam não apenas "ver" o contexto, mas efetivamente "usar" e "aprender" com ele.