💬 NLP

Can Argus Judge Them All? Comparing VLMs Across Domains

Este artigo apresenta o ARGUS-EVAL, um novo framework que avalia Modelos de Visão-Linguagem ao equilibrar a capacidade de benchmarks com a confiabilidade entre datasets, revelando discrepâncias significativas entre os rankings de desempenho tradicionais e a estabilidade no mundo real em modelos como Qwen-2.5VL-3B-Instruct e CLIP.

Autores originais: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um olheiro de talentos para um circo tecnológico de grande escala. Você precisa contratar os melhores "Modelos de Visão-Linguagem" (VLMs) — robôs superinteligentes que podem olhar para uma imagem e dizer o que está acontecendo, encontrar imagens semelhantes ou resolver enigmas sobre elas.

Normalmente, ao escolher um robô, você apenas olha para o seu boletim. Você vê uma pontuação como "95% no Teste de Matemática" e pensa: "Perfeito! É este!". Mas este artigo, intitulado "Can Argus Judge Them All?" (Pode o Argus Julgar a Todos?), argumenta que esse boletim pode ser um truque. Ele sugere que um robô pode gabaritar o teste, mas desmoronar no momento em que você o tira da sala de aula e o leva para o mundo real, bagunçado e imprevisível.

Os autores chamam isso de "Lacuna de Capacidade-Confiabilidade" (Capability-Reliability Gap). É como contratar um ginasta que faz um mortal para trás perfeito em um tapete macio e acolchoado na academia (o benchmark), mas que cambaleia e cai quando tenta o mesmo movimento em um castelo inflável ou em um palco ventoso (o mundo real).

O Novo Sistema de Pontuação: ARGUS-EVAL

Para corrigir isso, os pesquisadores construíram um novo sistema de julgamento chamado ARGUS-EVAL. Em vez de olhar apenas para uma pontuação final, eles testam os robôs em quatro aspectos diferentes:

A Pontuação do Teste (Capacidade): Quão bem ele se sai nos exames padrão?
A Pontuação de Consistência: Se você der o mesmo tipo de teste, mas com perguntas ou imagens ligeiramente diferentes, ele ainda terá um bom desempenho?
A Pontuação de "Resistência" (Toughness): Se você estragar a imagem (deixá-la borrada) ou o texto (adicionar erros de digitação), ele ainda consegue entender as coisas ou ele trava?
A Pontuação de Eficiência: Quão rápido ele é e quanto de bateria (ou memória de computador) ele consome?

A Corrida: Quem Venceu?

A equipe submeteu cinco modelos de robôs famosos através deste novo desafio: CLIP, BLIP, LXMERT, Gemma-3-4B e Qwen-2.5VL-3B-Instruct. Eles os testaram em três tarefas principais: encontrar imagens e textos correspondentes (Recuperação/Retrieval), descrever imagens (Legendagem/Captioning) e resolver enigmas de lógica (Raciocínio/Reasoning).

Aqui está o que descobriram, e é um pouco de um reviravolta na trama:

O "Aluno Estrela" (Qwen):
Se você olhasse apenas para o boletim tradicional, o Qwen-2.5VL-3B-Instruct era o vencedor claro. Ele teve as pontuações mais altas em todos os lugares.

No jogo de encontrar imagens, ele acertou 82,7% das correspondências principais (R@1).
Ao descrever imagens, ele escreveu frases com uma pontuação BLEU-4 de 47,2 e uma pontuação CIDEr de 141,6.
Nos enigmas de lógica, ele acertou 97,4% no teste CLEVR.

O artigo sugere que, se você precisa do robô absolutamente mais inteligente para um trabalho onde a precisão é tudo, o Qwen é a escolha.

O "Veterano Confiável" (Gemma):
Mas aqui está a pegadinha. Quando os juízes adicionaram as pontuações de "Consistência" e "Resistência", as classificações mudaram. O Gemma-3-4B tornou-se, na verdade, o mais confiável no geral.

Embora o Qwen fosse ligeiramente melhor nos testes brutos, o Gemma era mais estável. Ele não entrava em pânico tanto quanto o Qwen quando os testes ficavam estranhos ou as imagens ficavam borradas.
De fato, quando os autores adicionaram todas as novas pontuações de confiabilidade, a pontuação total do Gemma saltou para 0,891, enquanto a do Qwen caiu para 0,868.
O artigo sugere que o Gemma é a melhor escolha se você precisar de um robô que não quebre quando as coisas ficarem bagunçadas.

O "Veloz" (CLIP):
Depois temos o CLIP. Ele não era o mais inteligente para resolver enigmas ou escrever descrições sofisticadas. Mas ele era o mais rápido e leve.

Ele podia processar uma imagem em apenas 31 ms (milissegundos).
Precisava de apenas 0,9 GB de memória.
O artigo observa que, para dispositivos com baterias pequenas ou computadores fracos (como um Raspberry Pi), o CLIP é o vencedor claro porque não consome muitos recursos.

A Grande Lição

A principal descoberta deste artigo é que você não pode simplesmente escolher o robô com a maior pontuação no teste.

Os autores mediram isso cuidadosamente em diferentes conjuntos de dados e descobriram que modelos com pontuações de teste semelhantes podem se comportar de forma muito diferente no mundo real. Eles argumentam explicitamente contra a ideia de que "maior capacidade sempre significa maior confiabilidade". Eles mostraram que, em muitos casos, o robô que parece melhor no papel (Qwen) pode ser, na verdade, menos estável do que aquele que parece um pouco menos impressionante (Gemma).

Eles também mediram como esses robôs rodam em diferentes hardwares. Em um servidor poderoso (NVIDIA A100), o CLIP foi rápido em 31 ms, enquanto o Gemma levou 138 ms e o Qwen 142 ms. Mas em dispositivos menores, a diferença em velocidade e uso de memória tornou-se ainda mais dramática, com o CLIP permanecendo leve e rápido, enquanto os outros ficavam mais pesados.

O Que Isso Não Nos Diz

O artigo é cuidadoso ao dizer o que ele não fez. Eles não testaram todos os cenários possíveis do mundo real, nem testaram robôs que foram especialmente treinados (ajustados/fine-tuned) para tarefas específicas. Eles testaram apenas os robôs "como eles são", sem treinamento prévio (zero-shot).

Eles também não testaram todos os tipos de imagens "bagunçadas", apenas um conjunto específico de imagens borradas ou com ruído. Portanto, embora sugiram que o Gemma é mais confiável e o Qwen é mais inteligente, eles não afirmam que esta é a palavra final sobre todos os robôs existentes.

A Conclusão

Se você está construindo um sistema onde precisa das melhores respostas e tem computadores potentes, o Qwen pode ser sua melhor aposta. Mas se você precisa de um robô que mantenha a calma quando as coisas dão errado, ou se estiver operando em um dispositivo menor onde a velocidade é importante, o Gemma ou o CLIP podem ser escolhas mais inteligentes.

O artigo conclui que precisamos parar de olhar para apenas um número em um boletim. Precisamos olhar para o quadro completo: o quão inteligente o robô é, o quão estável ele é e quanta energia ele usa. Só assim poderemos realmente julgar se um robô está pronto para o mundo real.

Resumo Técnico: Pode o Argus Julgar a Todos? Comparando VLMs entre Domínios

Declaração do Problema
Modelos de Visão-Linguagem (VLMs) são cada vez mais implantados em aplicações industriais, como sistemas de recuperação, plataformas de geração de conteúdo e fluxos de trabalho de suporte à decisão. Atualmente, a seleção de modelos é predominantamente guiada por classificações de benchmarks derivadas de tarefas de jusante, como recuperação, legendagem e raciocínio. No entanto, os autores identificam uma limitação crítica nesta abordagem: modelos com desempenho agregado de benchmark semelhante frequentemente exibem comportamentos substancialmente diferentes entre conjuntos de dados e condições de avaliação. Essa discrepância cria um "Hiato de Capacidade-Confiabilidade" (Capability-Reliability Gap), onde um modelo que maximiza a capacidade de benchmark ( $P(M)$ ) não maximiza necessariamente a confiabilidade ( $R(M)$ ) em cenários de implantação prática. As avaliações tradicionais falham em capturar a estabilidade de desempenho através de benchmarks heterogêneos ou a robustez sob perturbações, levando a potenciais desalinhamentos entre classificações teóricas e a estabilidade observada do modelo.

Metodologia: ARGUS-EVAL
Para abordar essa lacuna, os autores introduzem o ARGUS-EVAL, um framework de avaliação orientado para capacidade-confiabilidade projetado para caracterizar o comportamento do modelo através de um vetor de avaliação quadridimensional $A(M) = \{P(M), CDC(M), RR(M), E(M)\}$ .

Capacidade de Benchmark ( $P(M)$ ): Representa o desempenho agregado em tarefas de recuperação, legendagem e raciocínio. É computado como a média das pontuações normalizadas de cinco conjuntos de dados: COCO, Flickr30k e Visual Genome (para recuperação e legendagem), e CLEVR e VCR (para raciocínio).
Consistência entre Conjuntos de Dados ($CDC(M)$): Mede a estabilidade de desempenho através de benchmarks heterogêneos. Quantifica a variação na distribuição de pontuação de um modelo entre diferentes conjuntos de dados; valores mais altos indicam menor variação de desempenho.
Retenção de Robustez ($RR(M)$): Mede a preservação do desempenho sob perturbações controladas de imagem e texto. É calculado como a razão entre a capacidade de benchmark após a perturbação e a capacidade de benchmark limpa.
Eficiência ( $E(M)$ ): Captura características de implantação, incluindo latência de inferência, pegada de memória, FLOPs e throughput. Estas métricas são normalizadas e agregadas para refletir a adequação do modelo para vários ambientes de hardware.

O framework avalia cinco VLMs representativos: CLIP, BLIP, LXMERT, Gemma-3-4B e Qwen-2.5VL-3B-Instruct. Todos os modelos são testados usando checkpoints pré-treinados oficiais sob um protocolo comum zero-shot sem ajuste fino (fine-tuning).

Resultos Principais
A avaliação empírica revela divergências significativas entre as classificações orientadas à capacidade e as orientadas à confiabilidade:

Dominância de Capacidade: O Qwen-2.5VL-3B-Instruct alcança a maior capacidade de benchmark geral ( $P(M)$ ). Ele registra as pontuações mais altas em recuperação (R@1 = 82,7% no COCO), legendagem (BLEU-4 = 47,2, CIDEr = 141,6 no COCO) e raciocínio (97,4% de acurácia no CLEVR).
Confiabilidade e Robustez: Quando as métricas de confiabilidade são incorporadas, a classificação muda. O Gemma-3-4B demonstra uma retenção de robustez superior ($RR = 0,901$) sob perturbações em comparação ao Qwen ($RR = 0,890$). Consequentemente, o Gemma atinge a maior pontuação geral do ARGUS-EVAL (0,891) quando consistência e robustez são fatoradas, superando o Qwen (0,868).
Eficiência: O CLIP exibe o perfil de eficiência mais forte, registrando a menor latência (31 ms na NVIDIA A100) e a menor pegada de memória (0,9 GB), tornando-o altamente adequado para ambientes de recursos limitados, apesar de menores capacidades generativas.
O Hiato de Capacidade-Confiabilidade: O estudo confirma que o modelo que maximiza a capacidade (Qwen) não coincide com o modelo que maximiza a confiabilidade (Gemma). Isso valida a existência do hiato, onde altas pontuações de benchmark não garantem desempenho consistente sob diversas condições.

Significância e Alegações
O artigo afirma que o ARGUS-EVAL é o primeiro framework unificado a avaliar conjuntamente a capacidade de benchmark, a consistência entre conjuntos de dados, a retenção de robustez e a eficiência. Os autores argumentam que confiar apenas nas classificações tradicionais de benchmark fornece insights limitados sobre a estabilidade do modelo na implantação real. Ao demonstrar que modelos ajustados por instrução (como o Gemma) podem oferecer um equilíbrio mais equilibrado entre capacidade e confiabilidade em comparação com modelos que estritamente maximizam as pontuações de benchmark, o trabalho defende uma mudança na metodologia de avaliação. Os autores posicionam o ARGUS-EVAL como uma ferramenta para apoiar a avaliação responsável de modelos, incentivando os profissionais a irem além da otimização de métrica única em direção a uma visão holística que inclua estabilidade e eficiência antes da implantação.

Limitações
Os autores reconhecem que o framework atualmente avalia um conjunto limitado de conjuntos de dados representativos e não cobre toda a diversidade dos cenários de implantação do mundo real. A análise de robustez é restrita a perturbações predefinidas, e as medições de eficiência são conduzidas em um conjunto específico de plataformas de hardware (NVIDIA A100, Jetson Nano, Raspberry Pi 5), que podem não se generalizar para todos os ambientes. Além disso, a avaliação é estritamente zero-shot e não avalia adaptações de ajuste fino ou específicas de tarefas.

O Novo Sistema de Pontuação: ARGUS-EVAL

A Corrida: Quem Venceu?

A Grande Lição

O Que Isso Não Nos Diz

A Conclusão

Mais como este