Resumo Técnico: ROSE – Avaliando o Hiato da Percepção à Ação em Modelos Multimodais

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham demonstrado um progresso significativo na percepção visual, raciocínio e geração, permanece uma lacuna crítica em sua capacidade de traduzir evidências visuais em ações dependentes de contexto. Os benchmarks existentes frequentemente agregam tarefas heterogêneas, avaliam perguntas fixas por imagem ou acoplam decisões visuais com planejamento complexo e interação com o ambiente. Consequentemente, eles falham em isolar uma capacidade específica: Um MLLM consegue converter uma interpretação visual consistente na ação exata exigida por um contexto de tarefa em mudança, enquanto a cena subjacente permanece fixa?

Os modelos atuais costem ter sucesso ao reconhecer "o que está presente" (percepção), mas lutam para decidir "como agir" quando a região relevante ou a saída simbólica necessária muda. Este artigo postula que uma ação correta não é meramente um subproduto do reconhecimento, mas um compromisso dependente de contexto, e que a transição da percepção para a ação é atualmente um gargalo significativo para os modelos de última geração.

Metodologia: O Benchmark ROSE

Para abordar isso, os autores introduzem o ROSE (Reference-conditioned Oddity and Symbolic Execution), um benchmark controlado projetado para manter a evidência visual fixa enquanto varia as restrições de região e as saídas simbólicas exigidas.

Princípios de Design do Benchmark

• Acoplamento de Cena: O ROSE deriva múltiplas tarefas de uma única cena visual. A evidência visual (uma grade de elementos) e o conjunto global de células de "exceção" (desvios de uma referência majoritária) permanecem constantes.
• Referência Majoritária Implícita: As cenas não contêm nomes de alvos explícitos. O modelo deve inferir a referência majoritária para identificar as exceções esparsas.
• Variação Controlada: O benchmark intervém apenas no contexto relevante (por exemplo, uma linha, coluna ou região visual específica) e na operação de saída exigida (por exemplo, contar vs. clicar coordenadas).

Conjunto de Tarefas

O ROSE consiste em cinco templates de tarefas acopladas derivadas da mesma cena:

1. Contagem Global (G-Cnt): Contar todas as células de exceção na grade completa.
2. Contagem Local (L-Cnt): Contar células de exceção dentro de uma região numericamente especificada.
3. Clique Local (L-Clk): Retornar as coordenadas exatas das células de exceção dentro de uma região numericamente especificada.
4. Clique de Região Visual (V-Clk): Retornar coordenadas exatas de exceções dentro de uma região visualmente destacada na imagem.
5. Clique de Exclusão com Submissão de Contagem (Excl-CS): Clicar em exceções fora de uma região especificada e submeter a contagem, testando a consistência entre ação e cardinalidade.

Composição do Dataset

O ROSE v0.1 compreende 1.512 cenas (3.024 imagens) e 7.560 instâncias de tarefas através de cinco fontes visuais finas para garantir a robustez contra categorias semânticas específicas:

• CHINESEGLYPH: Caracteres visualmente confundíveis em uma fonte verificada.
• EMOJISTYLE: Mesma identidade de emoji, diferentes provedores de renderização.
• EMOJICONTENT: Diferentes identidades de emoji, estilo de renderização compartilhado.
• PIXELEDIT: Edições localizadas em um mesmo asset de pixel art.
• PIXELCONTENT: Assets de pixel art distintos, mas visualmente relacionados.

O dataset é dividido ao nível da cena para evitar vazamento de dados (data leakage) entre os conjuntos de treino/validação e teste.

Principais Contribuições

1. Formulação de Ação Visual Condicionada por Referência: Um cenário controlado que isola a interface percepção-ação ao fixar a evidência visual enquanto varia o contexto e os requisitos de saída.
2. O Benchmark ROSE: Um dataset de diagnóstico de 1.512 cenas e 7.560 instâncias através de cinco fontes visuais e cinco templates de tarefas, incluindo protocolos de saída formal rigorosos para separar a conformidade gramatical do sucesso da tarefa.
3. Estrutura de Avaliação Diagnóstica: Uma suíte de análises, incluindo "tarefas de ponte" (Global-Click e Matched Local Count-to-Click), que decompõe as quedas de desempenho em modos de falha específicos: ancoragem de coordenadas, seleção condicionada ao contexto e execução formal.

Resultados Experimentais

Os autores avaliaram nove MLLMs recentes (incluindo GPT-5.5, Gemini-3.1-Pro, Qwen3.6-Plus e modelos Claude) contra uma referência humana.

Lacuna de Desempenho

• Desempenho Humano: Alcançou uma média de 98,8% de PASS.
• Desempenho dos Modelos: Variou de 14,3% a 92,2%.
• O Hiato da Percepção à Ação: Uma queda significativa de desempenho ocorre ao passar de tarefas de contagem para ações condicionadas por região. Por exemplo, o Qwen3.6-Plus caiu de 80,3% em tarefas de contagem para 37,7% em ações condicionadas por região (uma queda de 42,6 pontos percentuais). O GLM-5V-Turbo caiu de 60,5% para 16,0%. Mesmo o alto desempenho do GPT-5.5 viu uma queda de 93,8% para 84,3%.

Decomposição do Hiato

• Ancoragem de Coordenadas vs. Seleção de Contexto: Tarefas de ponte revelaram que, embora a ancoragem de coordenadas (Global-Click) explique parte da perda, a maior parte da queda de desempenho ocorre ao adicionar restrições de região. Para o Qwen3.6-Plus, a queda de Global Counting para Global Clicking foi de 13,2 pontos, mas a queda adicional para Visual-Region Clicking foi de 29,4 pontos.
• Falha de Consistência: Mesmo quando os modelos contavam corretamente as exceções globais, eles frequentemente falhavam em filtrar essas exceções corretamente sob novas restrições de região. Para o Qwen3.6-Plus, condicionado à contagem global correta, a precisão para cliques condicionados por região permaneceu baixa (38,0%).
• Modos de Falha:
  • Saída Inválida: Alguns modelos (ex: Claude) falharam principalmente devido a violações de protocolo (gramática inválida).
  • Violações de Região: Modelos mais fortes (ex: Qwen, GLM) frequentemente produziam gramática válida, mas clicavam em células fora da região exigida ou falhavam em abster-se quando não havia alvos.
  • Ancoragem de Contagem (Count Anchoring): Modelos frequentemente retiam a contagem global ou o conjunto completo de coordenadas mesmo quando a tarefa exigia um subconjunto ou exclusão, falhando em atualizar o conjunto de alvos com base no novo contexto.

Significância e Alegações

O artigo afirma que o ROSE revela um gargalo distinto e dependente do modelo ao transformar evidências visuais compartilhadas em ações específicas de contexto. O achado principal é que muitos modelos conseguem "ver o suficiente para contar", mas não "o suficiente para agir".

• Além da Percepção: Os resultados sugerem que uma ação multimodal confiável requer não apenas a recuperação de evidências visuais, mas o recomputo do conjunto de alvos específico do contexto e sua execução exata.
• Utilidade Diagnóstica: O ROSE fornece um ambiente de teste controlado para distinguir falhas em percepção, vinculação de região, ancoragem de coordenadas e execução de ação.
• Escopo Modesto: Os autores declaram explicitamente que o ROSE é um benchmark de diagnóstico controlado, não uma simulação de interação em mundo aberto. Ele utiliza cenas estruturadas em grade e ações simbólicas para tornar a percepção e a execução mensuráveis, reconhecendo que não captura toda a complexidade de imagens naturais, linguagem de forma livre ou planejamento de longo horizonte.

O artigo conclui que, embora os MLLMs atuais mostrem um progresso notável, a transição do reconhecimento de padrões visuais para a execução de ações precisas e dependentes de contexto continua sendo um desafio significativo que requer investigação adicional sobre como os modelos mantêm a consistência através de contextos de tarefas em mudança.