🤖 machine learning

Codifying the Judge: Scalable Evaluation via Program Distillation

O artigo apresenta o PAJAMA, um sistema de avaliação escalável que destila a lógica de decisão de LLMs em juízes programáticos transparentes e de baixo custo para igualar o desempenho de juízes baseados em grandes modelos de linguagem, reduzindo significativamente a latência e os custos de API.

Autores originais: Tzu-Heng Huang, Shengqi Qiu, Frederic Sala

Publicado 2026-07-28

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tzu-Heng Huang, Shengqi Qiu, Frederic Sala

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o chefe de uma biblioteca imensa e, todos os dias, milhares de pessoas enviam histórias que escreveram. Seu trabalho é lê-las, decidir quais são as melhores e dar prêmios a elas. No mundo da inteligência artificial, é exatamente isso que acontece quando computadores tentam julgar outros computadores. Chamamos isso de "LLM-as-a-judge" (LLM como juiz), onde uma IA superinteligente lê duas respostas e escolhe a vencedora. Tornou-se a forma padrão de testar o quão bons são os modelos de IA. Mas há um problema enorme: pedir para uma IA superinteligente ler cada história é incrivelmente caro, lento e, às vezes, a IA inventa razões para suas escolhas que não fazem sentido de verdade. É como contratar um crítico famoso e caro para ler cada livro na biblioteca; eventualmente, você fica sem dinheiro e nem consegue dizer se o crítico está sendo justo ou apenas tendo um dia ruim.

É aqui que entra o novo artigo. Os pesquisadores fizeram uma pergunta simples: em vez de contratar o crítico famoso para ler cada livro, e se pedíssemos ao crítico para escrever um livro de regras uma única vez, e então deixássemos uma equipe de robôs rápidos e baratos ler os livros baseados nessas regras? Eles chamam isso de "destilação programática". Em vez de pagar para a IA cara fazer o pensamento toda vez, eles ensinam a IA a escrever um conjunto de instruções (um programa de computador) que pode realizar o julgamento instantaneamente. É como transformar um chef humano lento e caro em uma torradeira automatizada rápida que faz a torrada perfeita todas as vezes, desde que você lhe dê a receita certa. O artigo mostra que este novo método não é apenas muito mais rápido e barato, mas também é muito mais honesto sobre como toma suas decisões, porque você pode realmente ler o código para ver exatamente por que escolheu um vencedor.

A Grande Ideia do Artigo: Transformando um Cérebro em uma Caixa de Ferramentas

Os autores deste artigo, Tzu-Heng Huang, Shengqi Qiu e Frederic Sala, da Universidade de Wisconsin-Madison, estão combatendo o problema "caro e opaco" do julgamento de IA. Eles propõem um sistema chamado PAJAMA (Program-As-a-Judge Automated Model Assessment). Pense no PAJAMA não como um único juiz, mas como uma oficina onde eles constroem toda uma equipe de ferramentas especializadas para fazer a graduação.

Aqui está como a mágica acontece, passo a passo:

1. O "Despejo de Cérebro" Único
Normalmente, quando você quer que uma IA julgue um par de respostas, você tem que enviar a pergunta e as respostas para a IA toda vez. Isso custa dinheiro e leva tempo. O PAJAMA muda o jogo. Em vez de pedir para a IA julgar cada resposta, eles pedem para a IA escrever um programa (um pedaço de código) que saiba como julgar.
Imagine que você tem um crítico de arte brilhante, mas lento. Em vez de pedir para ele olhar 10.000 pinturas uma por uma, você pede para ele escrever um manual para um robô. O manual diz coisas como: "Se a pintura tiver um céu azul, dê 5 pontos. Se o céu estiver bagunçado, subtraia 2 pontos". Assim que o crítico escreve este manual, você não precisa mais dele. Você apenas executa o robô. O artigo mostra que a IA pode escrever esses "manuais de julgamento" (programas) que são surpreendentemente bons em detectar erros lógicos, verificar se a história faz sentido ou ver se a resposta é curta demais.

2. O Comitê de Robôs
Um robô pode ser ruim em matemática, mas ótimo em gramática. Outro pode ser ótimo em detectar mentiras, mas ruim em estilo. Por isso, o PAJAMA não cria apenas um programa; ele cria todo um comitê de programas. Eles pedem à IA para escrever muitos programas diferentes, cada um olhando para a resposta de um ângulo ligeiramente diferente.
Para garantir que esses robôs não digam todos a mesma coisa (o que seria chato e inútil), os pesquisadores dão a eles diferentes "rubricas" ou listas de verificação. Um robô verifica o fluxo lógico, outro verifica a consistência do tópico e outro verifica a formatação. É como ter um painel de juízes onde um é um professor de gramática, outro é um professor de lógica e outro é um treinador de estilo.

3. O Interruptor de "Confiança"
Às vezes, até um comitê de robôs fica confuso. Talvez as duas respostas sejam tão semelhantes que os robôs não consigam decidir. É aqui que o PAJAMA fica esperto. Ele possui um "medidor de confiança". Se os robôs estiverem seguros, eles gritam o vencedor. Mas se eles estiverem inseguros, ou se todos se abstiverem (dizerem "eu não sei"), o PAJAMA tem um plano de contingência. Ele envia esses casos complicados para o juiz de IA caro e superinteligente (o "LLM") apenas para essas perguntas específicas.
Isso é como um segurança em um museu. Se um visitante parece normal, o guarda o deixa passar instantaneamente. Mas se alguém parece suspeito, o guarda chama o gerente para dar uma olhada mais de perto. Dessa forma, você só paga o gerente caro para os casos difíceis, economizando muito dinheiro nos casos fáceis.

O Que Eles Descobriram: Rápido, Barato e Surpreendentemente Inteligente

Os pesquisadores testaram este sistema em cinco conjuntos de dados diferentes e com quatro famílias diferentes de modelos de IA. Aqui está o que eles descobriram:

Velocidade é Rei: Os juízes programáticos são incrivelmente rápidos. Eles podem processar respostas 47,25 vezes mais rápido do que um juiz de IA padrão. Enquanto um juiz de IA comum pode levar um segundo ou dois para pensar, esses programas fazem isso num piscar de olhos porque estão apenas executando regras simples de matemática e lógica, não tentando "pensar" como um humano.
A Precisão é Alta: Embora sejam rápidos e baratos, eles ainda são muito bons. A equipe de programas igualou a precisão de um modelo de IA grande, de 13 bilhões de parâmetros (um modelo muito inteligente) em média. Em alguns casos, uma pequena equipe de apenas 8 programas foi tão precisa quanto um modelo de 7 bilhões de parâmetros.
O Avanço da "Fronteira de Pareto": Na ciência, a "fronteira de Pareto" é o melhor equilíbrio possível entre duas coisas, como velocidade e precisão. Normalmente, se você quer mais velocidade, você perde precisão. O PAJAMA quebra essa regra. Ao usar o programa para lidar com as partes fáceis e a IA para lidar com as partes difíceis, eles encontraram um ponto ideal onde obtiveram tanto maior precisão quanto maior velocidade. Por exemplo, ao ser pareado com um modelo de IA específico, eles melhoraram a precisão em 5% enquanto eram quase 3 vezes mais rápidos.
Treinamento Mais Barato: Eles também usaram esses programas para treinar outros modelos de IA (um processo chamado "destilação de modelo de recompensa"). Eles descobriram que usar os julgamentos dos programas para ensinar uma nova IA foi 50 vezes mais barato do que usar uma IA famosa e cara para fazer o ensino. A nova IA treinada com os dados do programa barato teve um desempenho tão bom, ou até melhor, do que aquela treinada com os dados da IA cara.
Honestidade e Viés: Um dos grandes problemas com juízes de IA é que eles podem ser tendenciosos. Eles podem gostar de respostas longas apenas porque são longas, ou podem preferir respostas com uma formatação elegante. Como os juízes do PAJAMA são programas de computador reais, você pode ver exatamente o que eles estão fazendo. Se um programa for tendencioso para respostas longas, você pode simplesmente abrir o código, encontrar a linha que diz "adicionar pontos para comprimento" e deletá-la. O artigo mostrou que, ao "calibrar" (corrigir) os programas, eles puderam reduzir significamente esses vieses, tornando o julgamento muito mais justo.

Por Que Isso Importa

O artigo argumenta que não precisamos continuar pagando contas enormes para ter uma IA julgando outra IA. Ao transformar a parte do "pensamento" do juiz em um conjunto de regras reutilizáveis e transparentes, podemos tornar a avaliação escalável. Isso transforma uma caixa preta (onde não sabemos por que a IA fez uma escolha) em um processo claro e inspecionável.

Os autores ressaltam cuidadosamente que isso não é uma varinha mágica que substitui todos os juízes de IA. Às vezes, os problemas são complexos demais para regras simples, e é por isso que mantêm a IA cara como um plano de reserva para os casos difíceis. Mas para a vasta maioria das tarefas de julgamento cotidianas, esta abordagem de "destilação programática" oferece uma maneira de obter resultados de alta qualidade sem o alto custo, a alta latência e os vieses ocultos dos métodos atuais. É uma mudança de pedir a um gênio para fazer todo o trabalho, para ensinar o gênio a construir uma equipe de trabalhadores eficientes.

Resumo Técnico: Codificando o Juiz: Avaliação Escalável via Destilação de Programas

Declaração do Problema

O paradigma "LLM-como-juiz" tornou-se o padrão para avaliação automatizada em pipelines de aprendizado de máquina, lidando com tarefas como rotulagem de preferência pareada, destilação de modelo de recompensa e feedback de aprendizado por reforço. No entanto, esta abordagem enfrenta quatro limitações críticas que impedem a escalabilidade e a confiabilidade:

Custo de Inferência: Escalar a avaliação para milhões de amostras usando modelos proprietários (ex: GPT-5, Gemini-3) acarreta custos de API proibitivos. Modelos de pesos abertos reduzem as contas de API, mas permanecem caros em termos de latência e demanda de GPU.
Lógica Opaca: Os processos de decisão dos LLMs são internos e opacos, tornando difícil verificar se um veredito baseia-se na fundamentação declarada ou em alucinação.
Viés Sistêmico: Juízes de LLM são sensíveis a vieses estilísticos, frequentemente favorecendo verbosidade, formatação rica ou linguagem emocionalmente carregada em detrimento da precisão factual.
Taxa de Re-inferência: Os atuais pipelines de prompting são inflexíveis; revisar um único critério de avaliação exige rodar a inferência novamente sobre todo o conjunto de dados, incorrendo em custos redundantes.

Metodologia: O Framework PAJAMA

Os autores propõem o PAJAMA (Program-As-a-Judge Automated Model Assessment), um sistema que desloca a inferência baseada em modelo para a execução de programas sintetizados. Em vez de solicitar um LLM para cada amostra, o PAJAMA destila a lógica de decisão do LLM em um comitê de programas Python executáveis.

O framework opera através de quatro estágios principais:

1. Destilação em Juízes Programáticos

Em vez de pedir a um LLM para avaliar cada candidato repetidamente, o PAJAMA solicita ao LLM apenas uma vez, no momento da síntese, a geração da lógica que ele aplicaria.

Síntese: Um LLM é instruído com rubricas de avaliação curadas (ex: coerência lógica, consistência de tópico) para gerar funções Python (judging_function). Estas funções recebem pares de consulta e resposta como entradas e retornam pontuações escalares baseadas em características interpretáveis (ex: similaridade de cosseno TF-vetor, deriva semântica).
Controle de Diversidade: Para evitar lógica repetitiva, o sistema seleciona uma lista de dez rubricas distintas e aplica verificações de similaridade baseadas em texto para filtrar programas com lógica sobreposta, garantindo um pool diversificado de juízes.

2. Modelagem de Juízes Programáticos

Como programas individuais podem ser ruidosos ou operar em escalas diferentes, o PAJAMA emprega um procedimento de modelagem em três etapas:

Calibração: As saídas dos programas são normalizadas para $[0, 1]$ . Um limiar por programa ( $\tau_j$ ) é determinado usando um conjunto de validação mantido à parte para converter diferenças de pontuação em vereditos discretos ( $+1$ , $-1$, ou abstenção $0$). Isso permite que os programas omitam votos quando seu sinal é fraco.
Seleção: Programas que pontuam abaixo do acaso em relação à validação são descartados. Os top- $k$ programas por acurácia de validação são selecionados para formar o comitê final.
Agregação: Usando técnicas de supervisão fraca (especificamente modelos de rótulos como Snorkel), o sistema agrega os votos ruidosos dos top- $k$ programas. Um modelo generativo estima a acurácia de cada programa com base em padrões de concordância/discordância para produzir um veredito conjunto ponderado.

3. Roteamento de Casos Incertos (Avaliação Híbrida)

Para lidar com entradas onde o comitê de programas se abstém ou carece de confiança, o PAJAMA implementa um mecanismo de fallback:

Sinais de Roteamento: Sinais internos derivados do comitê de programas — especificamente a variância de voto (discordância entre programas) e o posterior do agregador (probabilidade de confiança) — servem como indicadores de roteamento.
Fallback: Amostras sinalizadas como de baixa confiança são escaladas para um juiz de LLM. Isso cria um sistema híbrido que mantém alto throughput para casos claros, enquanto garante precisão para casos difíceis.

4. Destilação de Modelo de Recompensa

O sistema também utiliza os vereditos programáticos como sinais de treinamento para modelos de recompensa. Ao destilar rótulos do comitê de programas, o PAJAMA gera um conjunto de dados para o ajuste fino de modelos menores, evitando a necessidade de inferência contínua de LLMs proprietários durante a fase de treinamento.

Principais Resultados

Os autores avaliaram o PAJAMA através de cinco conjuntos de dados de preferência (JudgeLM, PandaLM, MultiPref, Prometheus, Preference-700K) e quatro famílias de modelos (OLMo-2, Gemma-3, Qwen2.5 e juízes proprietários).

Acurácia vs. Throughput: Juízes programáticos isolados igualaram a acurácia de juízes de LLM de médio porte (ex: OLMo-2-13B-INSTRUCT) enquanto rodavam 47,25× mais rápido. Em média, atingiram 78,11% de acurácia, comparável a modelos de 13 bilhões de parâmetros, mas com um throughput ordens de magnitude maior.
Avanço na Fronteira de Pareto: Quando combinado com fallbacks de LLM, o PAJAMA avançou a fronteira de Pareto de acurácia-throughput. Por exemplo, a combinação com o OLMo-2-7B-INSTRUCT melhorou a acurácia em +5,0% com 2,9× o throughput comparado à avaliação apenas por LLM.
Destilação de Baixo Custo: Em RewardBench, um modelo de recompensa destilado de rótulos programáticos superou um treinado em rótulos da GPT-4 proprietária, reduzindo os custos de API em 50×. A estrutura de custo muda de linear ( $O(n)$ ) com o tamanho do dataset para um investimento único ( $O(1)$ ) para a síntese do programa.
Robustez ao Viés: Juízes programáticos demonstraram resistência superior a vieses sistêmicos (posição, conteúdo rico, referência, gênero, verbosidade) em comparação com juízes de LLM. Notavelmente, o viés de posição foi eliminado (taxa de inversão de 0,00%) porque a lógica do programa é invariante à ordem dos candidatos.
Calibrabilidade: O sistema permite a redução direcionada de viés via edição de código. O uso de um agente de codificação para calibrar os programas reduziu ainda mais as métricas de viés (ex: uma redução de 9,39% na taxa de inversão para o viés de conteúdo rico), demonstrando que o viés pode ser "corrigido" no código, em vez de ser uma propriedade inerente e não corrigível do modelo.

Significância e Contribuições

O artigo afirma introduzir um novo paradigma de avaliação que substitui a inferência de modelo por amostra por uma síntese de programa única e execução local. As principais contribuições são:

Um Novo Paradigma de Avaliação: Destilar a lógica de julgamento de LLM em programas executáveis oferece uma alternativa transparente, de baixo custo e flexível à avaliação de modelos caixa-preta.
O Sistema PAJAMA: Um framework híbrido que sintetiza juízes diversos, agrega seus vereditos via supervisão fraca e emprega um roteador consciente de confiança para escalar casos incertos, equilibrando velocidade e acurácia.
Avanço na Fronteira de Pareto: O PAJAMA alcança acurácia competitiva com LLMs de médio porte a uma fração do custo e com throughput significativamente maior, expandindo os limites do que é viável para avaliações automatizadas em larga escala.
Sinais de Recompensa Baratos e de Alta Qualidade: O sistema fornece um método econômico para gerar dados de treinamento para modelos de recompensa, superando a supervisão proprietária por uma fração do custo e permitindo pipelines de avaliação robustos e corrigíveis quanto ao viés.

Os autores enfatizam que esta abordagem transforma a avaliação de um processo opaco e caro em um fluxo de trabalho transparente, auditável e programável, abordando os problemas fundamentais de escalabilidade e confiabilidade dos atuais sistemas de "LLM-como-juiz".