VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

1. Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) estão sendo cada vez mais implantados como juízes automatizados ("VLM-as-a-Judge") para avaliar sistemas de IA multimodal em diversas tarefas (por exemplo, raciocínio em gráficos, legendagem de imagens, QA visual). No entanto, existe uma limitação crítica: os juízes VLM fornecem apenas pontuações pontuais (por exemplo, 4/5) sem qualquer indicação de confiabilidade.

• A Lacuna de Confiabilidade: Uma pontuação de 4/5 pode representar alta confiança ou incerteza substancial. Os usuários não conseguem distinguir entre os dois.
• Complexidade Multimodal: Erros em VLMs surgem tanto da percepção visual quanto do raciocínio linguístico, multiplicando a incerteza.
• Falha de Métricas: Métricas padrão (correlação, precisão) falham em capturar a confiabilidade por instância. Por exemplo, um juiz pode alcançar alta correlação de ranking (ordenando corretamente as respostas) enquanto atribui pontuações absolutas wildly imprecisas.
• Estado Atual: Juízes VLM de última geração alcançam apenas ~32–34% de concordância exata com classificações humanas em uma escala de 5 pontos, com desvios significativos.

2. Metodologia

Os autores propõem o uso de Predição Conformal (CP), um framework livre de distribuição, para converter pontuações pontuais em intervalos de previsão calibrados.

• Mecanismo Central:
  • Entrada: Em vez de retreinar o modelo, o método extrai log-probabilidades de tokens de pontuação da saída do VLM. Para uma escala Likert de 1–5, isso forma um vetor de características de 5 dimensões $x = [\log P(1), \dots, \log P(5)]$.
  • Framework: Usando um conjunto de calibração de pontuações anotadas por humanos, o método calcula uma pontuação de não conformidade para determinar um intervalo de previsão $C(x) = [\hat{y} - \hat{q}, \hat{y} + \hat{q}]$.
  • Garantia: O intervalo é garantido para conter a pontuação humana verdadeira com uma probabilidade de pelo menos $1-\alpha$ (por exemplo, 90%), sem suposições sobre distribuições de erro.
• Adaptações Chave:
  • Ajuste de Fronteira: Como a verdade fundamental é discreta (inteiros) mas a CP produz intervalos contínuos, os autores aplicam um ajuste de fronteira para mapear intervalos em rótulos de classificação válidos ($\lceil l \rceil, \lfloor u \rfloor$), melhorando significativamente a cobertura.
  • CP Condicional à Tarefa (Mondrian CP): Para abordar a heterogeneidade de tarefas, os dados são partitionados em grupos (Fácil, Médio, Difícil) com base nas larguras iniciais dos intervalos. Quantis separados são calculados para cada grupo, produzindo intervalos mais estreitos para tarefas fáceis e intervalos mais largos e seguros para tarefas difíceis.
  • Lacuna Ranking-Pontuação (RSG): Uma nova métrica definida como $RSG = |\rho| - (1 - \frac{w}{K-1})$, onde $\rho$ é a correlação e $w$ é a largura do intervalo. Isso quantifica o desacoplamento entre a capacidade de ranking e a confiabilidade da pontuação.

3. Configuração Experimental

• Juízes: Três VLMs com arquiteturas e escalas diferentes:
  1. LLaVA-Critic-7B: Open-source, especializado em avaliação.
  2. Phi-4-reasoning-vision-15B: Modelo de raciocínio grande.
  3. Gemini 2.5 Flash: API closed-source, conhecida por forte ranking mas alta superconfiança.
• Conjuntos de Dados:
  1. MLLM-as-a-Judge: 5.717 instâncias em 14 categorias de tarefas visuais (por exemplo, ChartQA, MathVista, AesBench) com verdade fundamental de único anotador.
  2. Polaris: 8.726 pares imagem-legenda com verdade fundamental média de múltiplos anotadores (mais limpa, tarefa bem definida).
• Protocolo: Divisões de calibração/teste de 50/50, 10 sementes aleatórias, visando 90% de cobertura ($\alpha=0.10$).

4. Resultados Principais e Descobertas

A. Incerteza Dependente da Tarefa

A incerteza não é uniforme; é fortemente impulsionada pelo tipo de tarefa.

• Intervalos Estreitos (Alta Confiabilidade): Tarefas de estética e imagens naturais (por exemplo, AesBench) produzem intervalos cobrindo apenas ~40% da faixa de pontuação (largura $\approx$ 2.08).
• Intervalos Largos (Baixa Confiabilidade): Tarefas pesadas em visão que exigem raciocínio complexo (por exemplo, InfographicsVQA, MathVista) produzem intervalos cobrindo ~70% da faixa (largura $\approx$ 3.50).
• Consistência: A ordenação da dificuldade da tarefa é consistente entre os três juízes (Spearman $\rho \approx 0.82–0.93$), indicando que a dificuldade da tarefa, e não a identidade do modelo, impulsiona a incerteza.

B. Desacoplamento Ranking-Pontuação

O artigo identifica um modo de falha crítico onde métricas padrão são enganosas:

• Fenômeno: Juízes podem alcançar alta correlação de ranking (ordenando corretamente as respostas) enquanto produzem intervalos largos e não informativos (falhando em atribuir pontuações absolutas confiáveis).
• Exemplo: Em ChartQA, um juiz alcançou a maior correlação de Pearson ($\rho=0.507$) mas produziu um dos intervalos mais largos (3.08).
• Implicação: Alta correlação não implica que a pontuação absoluta seja confiável. Para tarefas com alto RSG, comparação em pares é preferível à pontuação absoluta.

C. Impacto da Qualidade dos Dados

• Dados Limpos vs. Ruídosos: Quando o mesmo juiz (LLaVA-Critic) e método foram aplicados ao conjunto de dados Polaris (legendas limpas, múltiplos anotadores), a largura do intervalo caiu de 3.05 (MLLM-Judge) para 0.68.
• Resultado: Esta é uma redução de 4.5× na largura do intervalo, demonstrando que a incerteza é impulsionada principalmente pelo ruído de anotação e ambiguidade da tarefa, e não pelo método conformal em si.

D. Paradoxos de Desempenho do Modelo

• Superconfiança vs. Largura do Intervalo: O Gemini 2.5 Flash foi altamente superconfiante (83% das previsões tinham softmax max > 0.99) e ainda assim produziu os intervalos mais estreitos. Isso prova que a qualidade do intervalo depende do sinal discriminativo nas log-probabilidades, e não da calibração da distribuição softmax.
• Especialização > Escala: Na tarefa especializada Polaris, o 7B LLaVA-Critic (treinado para avaliação) superou amplamente o 15B Phi-4 (raciocínio geral), alcançando 7.1× maior correlação e intervalos 5.3× mais estreitos.

E. Comparação de Métodos

• R2CCP (Regression-as-Classification) foi o método de melhor desempenho, alcançando cobertura quase perfeita de 90% com os intervalos informativos mais estreitos.
• CQR (Conformalized Quantile Regression) falhou, colapsando para intervalos de faixa total ($\approx$ 4.0) porque as log-probabilidades de tokens de pontuação são preditores fracos para quantis neste cenário discreto.
• Fusão de Características: Combinar características de log-prob de múltiplos juízes degradou o desempenho, sugerindo que a qualidade das características (um único juiz forte) supera a quantidade.

5. Significado e Contribuições

1. Mapa de Confiabilidade Quantitativa: O artigo fornece o primeiro mapeamento sistemático da confiabilidade de avaliação em 14 tarefas visuais, mostrando que "VLM-as-a-Judge" é confiável para algumas tarefas (estética) mas altamente incerto para outras (raciocínio complexo).
2. Novo Modo de Falha: Expõe o Desacoplamento Ranking-Pontuação, um fenômeno onde métricas padrão (correlação) mascaram a incapacidade dos juízes de fornecer pontuações absolutas confiáveis.
3. Framework Prático: Demonstra que a Predição Conformal pode ser aplicada a pipelines VLM existentes sem retraining, usando apenas log-probabilidades para gerar estimativas de incerteza acionáveis.
4. Diretriz Operacional: Os autores propõem uma regra prática: Intervalos estreitos indicam que a avaliação é adequada para pontuação absoluta; intervalos largos sinalizam ambiguidade, sugerindo que ranking relativo ou comparação em pares é a estratégia de avaliação apropriada.
5. Insight sobre Qualidade de Dados: Destaca que melhorar a qualidade da anotação (consenso de múltiplos anotadores) gera ganhos de confiabilidade maiores do que simplesmente escalar parâmetros do modelo.

Conclusão

O artigo conclui que juízes VLM não são universalmente confiáveis. Sua incerteza depende estruturalmente da tarefa e da qualidade dos dados. Ao usar predição conformal, praticantes podem passar de uma confiança cega em pontuações pontuais para uma compreensão matizada de quando a pontuação de um juiz pode ser confiada e quando deve ser tratada como um sinal de ranking ruidoso.