💬 NLP

Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry

Este artigo propõe o "Representation-as-a-Judge" (Representação como Juiz), uma mudança de paradigma onde modelos de linguagem pequenos aproveitam estados ocultos internos em vez da geração de superfície para avaliar saídas de forma eficiente e precisa, baseando-se na hipótese de que a avaliação requer significativamente menos capacidade semântica do que a geração.

Autores originais: Zhuochun Li, Yong Zhang, Ming Li, Yuelyu Ji, Yiming Zeng, Ning Cheng, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao, Daqing He

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhuochun Li, Yong Zhang, Ming Li, Yuelyu Ji, Yiming Zeng, Ning Cheng, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao, Daqing He

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário gigante e superinteligente (um Grande Modelo de Linguagem, ou LLM) que consegue escrever histórias belíssimas e resolver enigmas complexos. Para verificar se o dever de casa de um aluno está bom, geralmente pedimos que esse bibliotecário gigante leia a resposta e escreva um relatório longo e detalhado sobre por que ela está certa ou errada. Isso é chamado de "LLM-as-a-Judge" (LLM como Juiz). Mas há um porém: pedir para o gigante escrever um relatório é caro, lento e, às vezes, o gigante se confunde com a forma como fazemos a pergunta.

Agora, imagine um robô de bolso, minúsculo (um Pequeno Modelo de Linguagem), que tenta fazer o mesmo trabalho. Se você apenas pedir ao robô para "escrever um relatório", ele frequentemente gagueja, inventa coisas ou dá uma resposta terrível. Ele parece inútil como juiz, certo?

A Grande Descoberta: A Teoria do "Cérebro Silencioso"
Os autores deste artigo, publicado no ICLR 2026, fizeram uma pergunta diferente: E se o pequeno robô na verdade souber a resposta, mas apenas não conseguir escrevê-la bem?

Eles descobriram algo surpreendente: embora o output (o texto que ele escreve) do pequeno robô seja bagunçado, seu cérebro interno (os números ocultos que ele processa enquanto pensa) está, na verdade, cheio de informações precisas. É como um aluno que não consegue escrever uma redação clara, mas consegue apontar instantaneamente para a página exata em um livro onde a resposta está escondida.

Isso os levou a uma ideia nova chamada Hipótese da Assimetria de Capacidade Semântica. Pense nisso da seguinte forma: Escrever uma história perfeita é como construir um arranha-céu; exige uma enorme quantidade de materiais e esforço. Mas apenas verificar se a história faz sentido é como olhar para uma planta baixa; requer muito menos esforço. Você não precisa de um cérebro do tamanho de um arranha-céu para detectar um erro em uma frase; basta espiar dentro do cérebro para ver se a "planta baixa" está correta.

O Novo Método: INSPECTOR
Em vez de pedir ao pequeno robô para escrever um relatório, os autores construíram uma ferramenta chamada INSPECTOR.

Eles deixam o pequeno robô ler o dever de casa e uma pergunta.
Em vez de esperar o rob em falar, eles "espiaram" dentro de seu cérebro em camadas específicas (como checar gavetas específicas em um arquivo).
Eles usaram uma calculadora minúscula e simples (um "classificador de sondagem") para ler os sinais nessas gavetas e adivinhar a pontuação.

O Que os Números Dizem
Os resultados foram muito legais. Quando testaram isso em enigmas de matemática e ciência (como GSM8K, MATH e GPQA):

O Jeito Antigo: Quando apenas pediam ao pequeno robô para falar, ele frequentemente errava.
O Jeito Novo: Quando usavam o INSPECTOR para espiar dentro dele, os "sinais cerebrais" do pequeno robô previam a pontuação com 80% a 90% de precisão para distinguir respostas "boas" de "ruins".
A Comparação: Em muitos casos, os sinais internos desse pequeno robô eram quase tão bons quanto os relatórios escritos do bibliotecário gigante, mas era muito mais rápido e barato.

Curiosamente, o artigo descobriu que maior nem sempre é melhor para este trabalho específico. Às vezes, um modelo menor (como um modelo de 1,7 bilhão de parâmetros) era na verdade melhor em detectar erros do que um modelo ligeiramente maior (como um de 8 bilhões de parâmetros) ao usar este método de "espiar o interior". Isso sugere que diferentes modelos têm diferentes forças, e você não pode simplesmente assumir que um cérebro maior é sempre um juiz melhor.

O Que Eles Descartaram
O artigo argumenta explicitamente contra a ideia de que os modelos pequenos são apenas "burros" e carecem de conhecimento para julgar. Eles mostraram que o conhecimento está lá; ele está apenas escondido nos sinais internos, não no texto final. Eles também mostraram que simplesmente pedir a um modelo pequeno para "pensar mais profundamente" ou "escrever melhor" (prompting) não resolve o problema, porque o gargalo é a capacidade do modelo de gerar texto, não sua capacidade de compreender a qualidade.

O Quão Certos Eles Estão?
Os autores estão muito confiantes em suas descobertas com base em seus experimentos. Eles não apenas adivinharam; eles realizaram os testes em benchmarks reais de matemática e ciência. Eles descobriram que, embora prever a pontuação exata (como uma classificação de 1 a 5) fosse um pouco mais difícil (cerca com 50–60% de precisão), prever se uma resposta era "boa" ou "ruim" era altamente confiável (80–90%). Eles sugerem que este método pode ser usado para filtrar dados ruins antes de treinar outros modelos de IA, tornando todo o processo mais eficiente.

A Conclusão
Este artigo sugere uma nova forma de avaliar a IA: pare de pedir aos modelos pequenos para escrever ensaios e comece a ouvir seus "sussurros" internos. Ao usar uma ferramenta como o INSPECTOR, podemos transformar um robô minúsculo e barato em um juiz altamente preciso, economizando tempo e dinheiro, obtendo resultados que são quase tão bons quanto os dos gigantes caros. É uma mudança de "Juiz-como-Escritor" para "Juiz-como-Leitor".

Resumo Técnico: Repensando o LLM-como-Juiz: Representação-como-Juiz com Pequenos Modelos de Linguagem via Assimetria de Capacidade Semântica

1. Declaração do Problema

O paradigma predominante para a avaliação livre de referência de Grandes Modelos de Linguagem (LLMs) é o "LLM-como-Juiz" (LLM-as-a-Judge), onde modelos poderosos são instigados a avaliar a qualidade de saídas geradas. Embora eficaz, essa abordagem sofre de três limitações críticas:

Alto Custo Computacional: Requer decodificação autorregressiva, tornando-se caro mesmo para avaliações de ponto único.
Opacidade: A dependência de modelos proprietários (ex: GPT-4) torna seus mecanismos internos não verificáveis e não interpretáveis.
Instabilidade: A eficácia depende fortemente da engenharia de prompt, levantando preocupações quanto à reprodutibilidade e robustez.

Tentativas de mitigar esses problemas usando Pequenos Modelos de Linguagem (SLMs) de código aberto como juízes via prompting direto têm falhado amplamente. Os SLMs frequentemente produzem pontuações de avaliação pobres e inconsistentes em comparação com seus equivalentes maiores. No entanto, pesquisas anteriores sugerem que os SLMs possuem competência semântica comparável a modelos maiores, apesar de capacidades generativas mais fracas. Essa discrepância levanta uma questão fundamental: Será que os modelos pequenos codificam sinais relevantes para a avaliação em suas representações internas, mesmo quando sua geração de superfície é ruim?

2. Hipótese Central: Assimetria de Capacidade Semântica

Os autores propõem a Hipótese da Assimetria de Capacidade Semântica, que postula que a capacidade semântica necessária para uma avaliação precisa é significativamente menor do que a necessária para a geração.

Geração envolve planejamento de discurso, dependências de longo alcance e decodificação completa, exigindo uma capacidade substancial do modelo.
Avaliação foca em identificar inconsistências, erros fatuais ou falhas lógicas, o que os autores argumentam já estar acessível nos estados ocultos intermediários de um modelo, mesmo que o modelo não consiga articulá-los em um texto coerente.

Essa hipótese motiva uma mudança de paradigma do "LLM-como-Juiz" para a "Representação-como-Juiz" (Representation-as-a-Judge), uma estratégia livre de decodificação que extrai sinais avaliativos diretamente das representações latentes em vez de depender de geração de texto por prompting.

3. Metodologia: INSPECTOR

Para operacionalizar essa hipótese, os autores introduzem o INSPECTOR (Internal Signal Probing and EvaluaTion Of Representations), um framework baseado em sondagem (probing). O pipeline consiste em três estágios:

3.1. Anotação de Avaliação de LLM (Geração de Rótulo de Ouro)

Geração de Resposta: Um modelo de média escala ( $M_{med}$ , ex: 10–50 bilhões de parâmetros) gera respostas para consultas de benchmark. Este modelo é escolhido para produzir uma distribuição diversa de amostras de alta e baixa qualidade.
Pontuação: Um modelo grande de última geração ( $M_{large}$ , ex: DeepSeek-V3) avalia essas respostas em cinco aspectos específicos: Consistência Semântica, Lucidez (Logicality), Informatividade, Fluência e Veracidade (Factuality).
Construção do Dataset: Os pares resultantes de (prompt de avaliação, pontuação) formam o dataset de rótulos de ouro ( $D_{prob}$ ). Para garantir o equilíbrio, o dataset é subamostrado para equalizar o número de amostras entre os níveis de pontuação de 1 a 5.

3.2. Sondagem de LM Pequeno (Small LM Probing)

Entrada: Os mesmos prompts de avaliação são alimentados em um pequeno modelo de linguagem ( $M_{small}$ , ex: 0.6B–1.7B parâmetros).
Extração de Características: Em vez de gerar texto, o framework extrai estados ocultos ( $H^{(\ell)}$ ) e pesos de atenção ( $A^{(\ell)}$ ) de cada camada $\ell$ de $M_{small}$ .
Agrupamento (Pooling) e Estatísticas: Para cada camada, os autores computam um conjunto de vetores agrupados (média, último, mínimo, máximo, concatenação) e características estatísticas (entropia de atenção, norma, variância, entropia).
Ranking de Camadas: Sondas lineares simples (regressão logística) são treinadas sobre essas características para prever as pontuações de ouro. Isso identifica quais camadas e tipos de características contêm os sinais avaliativos mais preditivos.

3.3. Construção de Classificadores de Sondagem

Montagem de Características: Com base no ranking de camadas, o framework constrói conjuntos de características multicamadas concatenando características das camadas mais informativas.
Treinamento de Classificador: Classificadores leves (Regressão Logística, SVM, MLP, Random Forest) são treinados nessas características concatenadas para prever ou pontuações multiclasse (1–5) ou rótulos binários de qualidade (Alta vs. Baixa).
Seleção: A configuração ideal (conjunto de camadas, método de pooling, classificador) é selecionada via validação cruzada para maximizar o desempenho enquanto minimiza a complexidade.

4. Resultados Principais

Experimentos foram conduzidos em benchmarks de raciocínio (GSM8K, MATH, GPQA) usando vários SLMs (Qwen3-0.6B/1.7B, Llama-3.2-1B, Llama-3.1-8B).

Superioridade sobre o Prompting: O INSPECTOR supera substancialmente o prompting direto nos mesmos modelos pequenos. Na classificação multiclasse, os scores F1 melhoraram em mais de 20% em média. Na classificação binária, os classificadores de sondagem alcançaram scores F1 de 80–90%, enquanto o prompting frequentemente falhou em exceder as linhas de base aleatórias.
Aproximação de Modelos Grandes: A avaliação baseada em sondagem de modelos pequenos aproxima-se da fidelidade dos juízes de escala total (ex: DeepSeek-V3) em tarefas de filtragem, apesar de os modelos pequenos possuírem significativamente menos parâmetros.
Independência de Tamanho de Modelo: Modelos maiores não superam consistentemente os menores em tarefas de sondagem. Por exemplo, o Qwen3-0.6B superou o Qwen3-1.7B em certas tarefas de lucidez, e o Llama-3.2-1B superou o Llama-3.1-8B na sondagem de fluência. Isso desafia a suposição de que o escalonamento é estritamente necessário para a avaliação.
Utilidade de Filtragem de Dados: Classificadores treinados por este método servem como filtros altamente confiáveis para dados de raciocínio ruidosos. Ao serem usados para filtrar dados de treinamento para o Ajuste Fino Supervisionado (SFT) de um modelo estudante (Llama-2-7B), o filtro baseado em sondagem rendeu um desempenho comparável ao uso do caro DeepSeek-V3 como filtro, superando significativamente a filtragem aleatória.

5. Significância e Contribuições

O artigo reivindica três contribuições primárias:

Descoberta Empírica: Identifica e analisa o fenômeno de que pequenos LMs codificam sinais ricos e relevantes para a avaliação em suas representações internas, mesmo quando sua saída generativa é pobre.
Formulação Teórica: Formaliza a Hipótese da Assimetria de Capacidade Semântica, argumentando que a avaliação é uma tarefa de menor capacidade do que a geração e pode ser fundamentada em representações intermediárias.
Mudança de Paradigma: Introduz a Representação-como-Juiz e a instanciam através do INSPECTOR. Isso é apresentado como o primeiro trabalho a investigar a sondagem de LLM especificamente para tarefas de avaliação, oferecendo uma alternativa escalável, interpretável e de baixo custo ao atual paradigma de "LLM-como-Juiz".

Os autores concluem que esta abordagem permite uma avaliação eficiente e livre de referência, bem como a curadoria de dados, sugerindo que o julgamento de alta fidelidade não requer necessariamente modelos generativos de grande escala, mas pode ser aproveitado das características latentes de modelos menores e mais acessíveis.