Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese

Resumo Técnico: Prosa – Avaliação Baseada em Rubricas de LLMs em Conversas Reais de Usuários em Português Brasileiro

Declaração do Problema
A avaliação automática atual de geração de linguagem aberta enfrenta duas limitações primárias. Primeiro, métricas tradicionais de sobreposição de n-gramas (por exemplo, BLEU, ROUGE) correlacionam-se fracamente com o julgamento humano, falhando particularmente em distinguir entre sistemas de alta qualidade. Segundo, embora os paradigmas de "LLM como juiz" tenham melhorado a correlação com especialistas humanos, eles dependem de pontuação holística, onde um juiz colapsa múltiplas dimensões de qualidade em uma única pontuação ou preferência par a par. Os autores argumentam que essa abordagem holística é opaca e altamente sensível aos vieses específicos do modelo juiz escolhido. Além disso, os benchmarks existentes para Português Brasileiro são dominados por exames acadêmicos de múltipla escolha ou tarefas traduzidas do inglês, carecendo de avaliação baseada em interações de usuário multivoltadas e naturalmente ocorrentes dentro do contexto cultural e linguístico específico do Brasil.

Metodologia
O artigo introduz o Prosa, um benchmark e protocolo de avaliação projetados para abordar essas lacunas através de três escolhas de design centrais:

1. Construção de Dados do Mundo Real: O Prosa deriva seu conjunto de dados do repositório WildChat, filtrando 3,2 milhões de conversas para 1.000 interações de alta qualidade e multivoltadas em Português Brasileiro. O pipeline de filtragem (Figura 1) emprega verificações baseadas em regras (unicidade de IP, comprimento de token, deduplicação semântica) e filtros baseados em LLM (classificação de dificuldade, atribuição de tópico e detecção de intenção sem sentido) para garantir que os dados reflitam tarefas de usuário verificáveis, não redundantes e desafiadoras.
2. Pontuação Baseada em Rubricas Decompostas: Em vez de pontuação holística, o Prosa utiliza um sistema de rubrica binária de aprovação/reprovação. Para cada conversa, um modelo gerador (GPT-5.2) produz um conjunto de critérios binários atômicos com base no histórico da conversa e nas respostas de referência. Um modelo juiz então avalia cada resposta contra esses critérios, emitindo um veredito SIM/NÃO para cada rubrica. A pontuação final é a Taxa de Seguimento de Requisitos Decompostos (DRFR), escalada de 0 a 100.
3. Filtragem Pós-Hoc Multi-Juiz: Um pipeline inovador filtra as rubricas geradas antes da pontuação para remover critérios de baixa qualidade. Este pipeline opera no ranking empírico de 16 modelos candidatos avaliados por três juízes distintos (GPT-4.1, Gemini 3 Flash e Sabiá-4). Ele remove rubricas que são:
   • Triviais: Aprovadas por todos os candidatos.
   • Impossíveis: Reprovadas por todos os candidatos.
   • Desalinhadas: Onde candidatos com pontuação mais alta falham enquanto candidatos com pontuação mais baixa passam.
   • Instáveis: Onde os vereditos mudam entre execuções repetidas com temperatura 0.

Contribuições Principais

• Benchmark Prosa: O primeiro benchmark de chat em Português Brasileiro, multivoltado e de usuário real, avaliado via LLM como juiz baseado em rubricas.
• Insight Metodológico: A demonstração de que decompor o julgamento em vereditos binários atômicos é mais crítico para a estabilidade do ranking do que a escolha do próprio modelo juiz.
• Pipeline de Filtragem: Um mecanismo automático de filtragem de rubricas pós-hoc que melhora significativamente o poder discriminativo da avaliação sem exigir um modelo juiz de "fronteira".
• Eficiência de Custos: Um protocolo que permite avaliação de alta fidelidade usando modelos mais baratos (por exemplo, Gemini 3 Flash a ~$2,1 por candidato) enquanto reproduz rankings obtidos por juízes mais caros.

Resultados
Os autores avaliaram 16 modelos de quatro famílias (OpenAI, Google, Alibaba, Maritaca AI) usando três juízes diferentes sob três protocolos: pontuação holística, pontuação de rubrica não filtrada e pontuação de rubrica filtrada.

• Estabilidade do Ranking: Sob pontuação holística, os três juízes concordaram em apenas 7 de 16 rankings (correlação de Spearman 0,986). Sob pontuação de rubrica filtrada, os juízes alcançaram acordo perfeito (16/16 rankings, Spearman 1,000).
• Poder Discriminativo: O pipeline de filtragem aumentou a lacuna média de pontuação entre modelos vizinhos em 47% (de 2,22 para 3,26 pontos) e expandiu a dispersão do topo para o fundo de 33,3 para 48,9 pontos.
• Desempenho do Modelo: O leaderboard final (Tabela 4) mostra o GPT-5.2 no topo (88,6), seguido de perto pelo GPT-5 Mini e Gemini 3 Pro. Notavelmente, o Qwen3-235B de pesos abertos (80,1) superou o GPT-4.1 e o Gemini 3 Flash, ficando em 4º lugar. O modelo da Maritaca AI, Sabiá-4, ficou em 9º lugar (70,2), mostrando uma melhoria geracional significativa em relação ao Sabiá-3.1.
• Custo: Avaliar um novo candidato custa aproximadamente $2,1 usando o Gemini 3 Flash, uma ordem de magnitude mais barato que benchmarks comparáveis como o Arena-Hard-Auto ($20/candidato).

Significado e Alegações
O artigo alega que o principal motor da avaliação confiável de LLMs é a decomposição do julgamento em decisões binárias atômicas, e não a sofisticação do modelo juiz. Ao mudar da pontuação holística para a pontuação de rubrica filtrada, a avaliação torna-se invariante ao juiz específico utilizado, permitindo que pesquisadores usem modelos mais baratos e rápidos sem sacrificar a fidelidade do ranking.

Os autores postulam que essa metodologia reduz a barreira para avaliação em larga escala e fornece sinais de qualidade granulares (vereditos por rubrica) que podem ser reaproveitados para modelagem de recompensa, além da avaliação. Eles concluem que, embora o benchmark seja específico para o Português Brasileiro, o mecanismo central da avaliação de rubricas decompostas e filtradas é provavelmente transferível para outros idiomas e configurações de avaliação aberta. Os autores liberam o benchmark, o código de filtragem e as rubricas para garantir reprodutibilidade e condições de avaliação idênticas para modelos futuros.