PoSh: Using Scene Graphs To Guide LLMs-as-a-Judge For Detailed Image Descriptions

Este trabalho apresenta o PoSh, uma métrica que utiliza grafos de cena para orientar modelos de linguagem como juízes na avaliação de descrições detalhadas de imagens, e valida sua eficácia através do novo conjunto de dados DOCENT, demonstrando maior correlação com julgamentos humanos e robustez em comparação com métodos existentes.

O essencial

🎨 O Problema: Descrever uma Obra de Arte é Difícil (e Avaliar é Ainda Mais)

Imagine que você está em um museu e precisa explicar uma pintura complexa para um amigo que não pode vê-la. Você precisa dizer não apenas "tem um cavalo", mas "o cavalo branco está correndo para a esquerda, com um cavaleiro usando um chapéu vermelho".

Hoje, temos computadores (chamados de Modelos de Visão e Linguagem) que tentam fazer isso. Mas como sabemos se eles estão fazendo um bom trabalho?

• O problema antigo: As ferramentas de avaliação atuais são como um professor que só corrige a ortografia. Se o computador escrever "O cavalo está vermelho" em vez de "O cavalo está branco", a ferramenta antiga pode não perceber que é um erro grave, ou pode dar uma nota baixa por motivos errados. Elas foram feitas para frases curtas, não para descrições longas e detalhadas.
• A solução humana: Pedir para pessoas lerem e compararem textos longos é caro e demorado. Ninguém tem tempo de fazer isso para cada nova versão de um computador.

🚀 A Solução: O "POSH" (O Chefe Rigoroso)

Os autores criaram algo chamado POSH. Pense no POSH como um inspetor de qualidade super-organizado que usa um "mapa de tesouro" para verificar se a descrição está correta.

1. O Mapa de Tesouro (Gráficos de Cena)

Quando o computador descreve uma imagem, o POSH não lê apenas as palavras. Ele transforma a descrição em um mapa de conexões (chamado de Scene Graph).

• Analogia: Imagine que a descrição é uma lista de compras bagunçada. O POSH organiza isso em uma tabela: "O que é?", "Como é?" e "Onde está?".
  • Exemplo: Em vez de apenas "homem", o mapa diz: "Homem (objeto) + vestindo terno (atributo) + segurando um copo (relação)".

2. O Chefe Rigoroso (LLM como Juiz)

O POSH usa esse mapa para criar um "quiz" para um outro computador inteligente (um Grande Modelo de Linguagem).

• O quiz pergunta: "A descrição gerada pelo computador menciona o 'homem de terno'? Sim ou não? Se sim, está descrito corretamente?"
• Se o computador esqueceu o chapéu vermelho, o POSH aponta exatamente onde a frase faltou. Se ele disse que o homem estava de azul quando era vermelho, o POSH marca o erro exato.

Isso gera duas notas:

1. Erros (Precisão): O que foi dito de errado?
2. Omissões (Recall): O que foi esquecido?

🖼️ O Novo Campo de Prova: DOCENT

Para testar se o POSH funciona de verdade, os autores criaram um novo banco de dados chamado DOCENT.

• O que é: Um museu digital com 1.750 obras de arte (pinturas, esculturas, desenhos).
• O diferencial: Eles contrataram especialistas (estudantes de história da arte) para escrever descrições perfeitas e, depois, para julgar as descrições feitas pelos computadores.
• Por que é importante: Descrever arte é muito mais difícil do que descrever uma foto de um cachorro na internet. Há muitas pessoas, roupas detalhadas, expressões e relações complexas. É o "teste final" para ver se os computadores realmente entendem o que veem.

🏆 Os Resultados: O POSH Ganhou

Os autores compararam o POSH com outras ferramentas famosas e até com o "GPT-4o" (um dos modelos mais inteligentes do mundo).

1. Mais Preciso: O POSH acertou mais as notas do que qualquer outra ferramenta automática, inclusive superando o GPT-4o em alguns aspectos.
2. Transparente: Ao contrário de outras ferramentas que dão apenas uma nota final (ex: "Nota 7"), o POSH diz: "Você errou aqui na cor do chapéu e esqueceu de mencionar o cavalo". Isso ajuda os desenvolvedores a consertar os computadores.
3. Barato e Reprodutível: Como o POSH usa modelos de código aberto (gratuitos), qualquer pessoa pode usá-lo e obter o mesmo resultado. Não é necessário pagar por APIs caras.
4. Treinamento: Eles usaram o POSH para "treinar" um computador. Ao usar o POSH como um professor que dá feedback imediato, o computador aprendeu a descrever as obras de arte melhor do que se tivesse sido treinado apenas com exemplos estáticos.

🌟 Conclusão Simples

O POSH é como um novo tipo de "olho clínico" para a inteligência artificial. Ele não apenas diz se a descrição está "boa" ou "ruim", mas aponta exatamente onde o computador está alucinando ou esquecendo detalhes.

Com o DOCENT, eles criaram um desafio difícil (arte complexa) para garantir que, no futuro, quando você pedir para um computador descrever uma imagem para um cego ou para um sistema de acessibilidade, a descrição seja rica, precisa e cheia de detalhes, e não apenas uma frase genérica.

Em resumo: Eles criaram um professor rigoroso (POSH) e uma prova difícil (DOCENT) para garantir que os computadores aprendam a "ver" e "falar" sobre o mundo com a mesma riqueza de detalhes que um humano faria.

Resumo técnico

1. Problema e Motivação

O avanço dos Modelos de Linguagem e Visão (VLMs) permitiu a geração de descrições de imagens cada vez mais detalhadas. No entanto, a avaliação dessas descrições longas e complexas permanece um desafio crítico:

• Limitações das Métricas Existentes: Métricas padrão (como CIDEr, SPICE, BLEU) foram projetadas para legendas curtas e focam em erros de identificação de objetos, que são menos comuns em modelos modernos. Elas falham em capturar nuances de atributos, relações e a estrutura composicional de textos longos.
• Falta de Granularidade: Métricas que produzem uma pontuação única (coarse) não conseguem localizar erros específicos (ex: um atributo incorreto ou uma omissão de detalhe), dificultando a iteração de modelos e prompts.
• Custo da Avaliação Humana: A avaliação humana de descrições longas é cara, lenta e subjetiva, especialmente em domínios complexos como a arte.
• Domínio Desafiador: A geração de texto alternativo (alt-text) para obras de arte exige uma compreensão profunda de cenas dinâmicas, orientação física, vestuário e relações espaciais, onde modelos atuais frequentemente falham em cobrir todos os detalhes sem erros.

2. Metodologia: O Métrica POSH

Os autores propõem o POSH (PrOofing Scene grapHs), uma nova métrica baseada em referência que utiliza Gráficos de Cena (Scene Graphs) como rubricas estruturadas para guiar um Modelo de Linguagem (LLM) atuando como Juiz.

O processo ocorre em três etapas principais:

1. Extração de Gráficos de Cena:

   • O POSH extrai gráficos de cena tanto da descrição gerada pelo modelo quanto da referência (texto de ouro).
   • Utiliza análise de dependência (com spaCy) e resolução de coreferência (com Maverick) para mapear objetos, atributos e relações.
   • O objetivo é reduzir a diversidade superficial do texto para seus componentes visuais essenciais, preservando a localização de cada componente no texto original.

2. Avaliação Granular (Question Answering):

   • Para cada componente do gráfico de cena da geração (ex: "homem de branco"), o sistema formula perguntas para um LLM (usando Qwen-3-14b) sobre a presença desse componente na referência (e vice-versa).
   • O LLM atribui uma pontuação de 1 a 5 indicando o grau de presença/veracidade.
   • Isso permite identificar erros de precisão (atributos ou relações incorretas) e omissões (detalhes presentes na referência que faltam na geração) de forma localizada em spans de texto.

3. Agregação para Pontuações Coarsas:

   • As pontuações granulares são agregadas para calcular métricas de Precisão (erros), Recall (omissões) e Qualidade Geral.
   • Isso torna a métrica interpretável, pois a pontuação final é fundamentada em erros específicos e localizáveis.

3. Contribuições Principais

1. POSH (Métrica): Uma métrica de avaliação de descrição detalhada que é:

   • Interpretável: Fornece pontuações granulares localizadas em texto.
   • Replicável: Utiliza modelos de peso aberto (open-weight), ao contrário de soluções que dependem de APIs caras (como GPT-4o).
   • Robusta: Funciona bem em imagens complexas e dinâmicas.

2. DOCENT (Benchmark): Um novo conjunto de dados focado em arte visual para avaliação de descrições detalhadas.

   • Conteúdo: 1.750 obras de arte (pinturas, esboços, esculturas) do National Gallery of Art (EUA).
   • Referências: Descrições escritas por especialistas em história da arte, seguindo diretrizes de acessibilidade.
   • Avaliações Humanas: Inclui 900 julgamentos (300 granulares e 600 coarsos) feitos por estudantes de história da arte, avaliando erros, omissões e qualidade geral. É o primeiro benchmark a oferecer julgamentos granulares para descrições longas de arte.

4. Resultados Experimentais

Os autores validaram o POSH contra o benchmark DOCENT e o conjunto de dados CapArena (imagens da web).

• Correlação com Humanos:

  • O POSH superou todas as métricas replicáveis existentes (incluindo SPICE, CAPTURE, LLaVa-Critic) e até mesmo o GPT-4o atuando como juiz.
  • No DOCENT, o POSH alcançou um aumento de +0.05 no coeficiente de correlação de Spearman (ρ) em relação à melhor alternativa de peso aberto para a qualidade geral.
  • Na detecção de erros granulares (F1), o POSH obteve 0.580 para erros e 0.680 para omissões, superando métodos baseados em embeddings e sobreposição de n-gramas.

• Robustez:

  • Testado no CapArena (imagens mais simples), o POSH manteve alta correlação, demonstrando robustez a diferentes tipos de imagem.
  • Em subconjuntos de imagens complexas do CapArena (com 3+ pessoas), o POSH superou o LLaVa-Critic, um modelo VLM muito maior.

• Função de Recompensa (RL):

  • Ao usar o POSH como função de recompensa para Reinforcement Learning (DAPO) em vez de Supervised Fine-Tuning (SFT), os modelos geraram descrições com menos omissões e maior qualidade geral, embora tenham cometido ligeiramente mais erros de precisão (trade-off aceitável para descrições assistivas).

• Desempenho dos Modelos:

  • A análise revelou que, mesmo os melhores modelos (incluindo GPT-4o e Claude Sonnet 3.5), cobrem apenas cerca de 50% das informações visuais detalhadas presentes nas referências de arte, destacando a dificuldade da tarefa.

5. Significado e Impacto

• Avanço na Avaliação de VLMs: O trabalho estabelece um novo padrão para avaliar a compreensão profunda de cenas, indo além da simples identificação de objetos para a verificação de relações e atributos complexos.
• Acessibilidade: Ao focar em descrições detalhadas de arte, o trabalho contribui diretamente para a geração de texto alternativo (alt-text) de alta qualidade, essencial para usuários cegos e com baixa visão.
• Reprodutibilidade: Ao fornecer uma métrica baseada em modelos abertos e um benchmark completo com julgamentos humanos granulares, o POSH e o DOCENT permitem que a comunidade de pesquisa avance de forma replicável, sem depender de APIs proprietárias caras.
• Novo Desafio: O benchmark DOCENT define uma tarefa desafiadora que expõe as limitações atuais dos modelos fundacionais em lidar com a dinâmica de cenas ricas e a necessidade de cobertura completa de detalhes.

Em resumo, o paper introduz uma abordagem estruturada e interpretável para a avaliação de descrições de imagens longas, combinando a precisão dos gráficos de cena com a flexibilidade dos LLMs, validada em um novo e rigoroso domínio de arte.