Resumo Técnico: Julgar Não é Enumerar

Declaração do Problema

Os modelos de linguagem (LLMs) estão sendo implantados cada vez mais não meramente como examinandos que respondem a perguntas, mas como examinadores que elaboram as especificações, suítes de testes, gabaritos e funções de recompensa que definem a correção para sistemas subsequentes. Este artigo investiga uma assimetria crítica nesta inversão de papéis: enquanto os modelos demonstram forte capacidade em julgar se um candidato específico pertence a um conjunto aceitável, eles apresentam um desempenho significativamente inferior ao elaborar o próprio conjunto.

O problema central é o "hiato de autoria" (authoring gap): a incapacidade de um modelo materializar a extensão de uma especificação de correção (a lista de todas as respostas válidas ou a suíte de testes que as aceita) com a mesma fidelidade que possui ao julgar candidatos individuais. Esse hiato é particularmente perigoso porque os artefatos produzidos (chaves, rubricas, suítes) tornam-se a definição operacional de correção para outros sistemas, incluindo o Aprendizado por Reforço com Recompensas Verificáveis (RLVR). O artigo postula que o modo de falha dominante é a omissão silenciosa — a falha em incluir membros válidos — o que é inerentemente difícil de auditar porque uma ausência não pode ser contestada por um revisor local da mesma forma que uma inclusão indevida pode.

Metodologia

Os autores empregam um rigoroso framework de medição livre de julgamento, utilizando verdade de base construída para evitar a circularidade (ou seja, usar um modelo para avaliar as próprias especificações de um modelo). O estudo utiliza quatro construções distintas para triangular o fenôismo através de diferentes domínios e níveis de completude:

1. Construções Algorítmicas (Verdade Completa):

   • String: Os modelos recebem uma lista finita de 15 palavras e um predicado mecanicamente decidível (ex: "contém uma letra dupla"). A tarefa é listar todas as palavras que satisfazem o predicado.
   • Aritmética: Semelhante à tarefa de string, mas com predicados numéricos (ex: "divisível por 3") sobre listas de inteiros.
   • Significância: Estas construções eliminam o fator de confusão da incompletude lexical; a verdade de base é computável e exata.

2. Construção Executável (Verdade Executável):

   • Baseada em HumanEval+ e MBPP+. Os modelos geram suítes de testes a partir de docstrings. A correção é determinada pela execução da suíte contra um pool de soluções verificadas por oráculo (1.560 corretas, 904 incorretas).
   • Significância: Isso mede a capacidade de autoria "intensional", onde o conjunto é ilimitado e definido por execução de código.

3. Construção Lexical (Verdade Lexical):

   • Baseada em sinônimos de WordNet. Os modelos listam palavras que correspondem a um sentido específico.
   • Significância: Utilizada para triangulação, embora reconhecida como incompleta (o léxico pode omitir sinônimos válidos). O artigo trata a precisão aqui como um limite inferior e baseia-se em tendências de recall.

Design Experimental:

• Interfaces Comparadas:
  • Julgamento (Execução): O modelo recebe um candidato e é questionado: "$x \in S^*$?". (Classificação ponto a ponto).
  • Autoria: O modelo deve emitir o conjunto inteiro $\hat{S}$ (Enumeração extensional) ou um predicado/suíte (Autoria intensional).
• Controles: O estudo controla a escala (de 3B a 72B parâmetros), famílias de modelos (Qwen2.5, Qwen3, Llama, Mistral, Phi, gemma), variações de prompt e estratégias de decodificação (greedy vs. habilitado para raciocínio).
• Testes de Mitigação: O artigo testa "amostrar-então-verificar" (auto-reparo), portões de sondagem de "conhecido-como-correto" e "reparo de trace" (reescrever valores esperados com base na execução de referência).
• Impacto Subsequente: Os autores medem o "imposto RLVR" treinando políticas com chaves elaboradas pelo modelo versus chaves de oráculo para quantificar a perda de precisão.

Contribuições Principais e Resultados

1. A Tesoura Julgamento–Autoria

A principal descoberta é um hiato persistente e estatisticamente significativo entre o desempenho de julgamento e de autoria em todas as escalas e famílias de modelos.

• Verdade Completa: Em tarefas algorítmicas, os escores F1 de julgamento variam de 0,60 a 0,77, enquanto os escores F1 de autoria variam de 0,26 a 0,48. O hiato ($\Delta$) permanece positivo (+0,25 a +0,34) e não se fecha conforme a escala do modelo aumenta.
• Código Executável: O hiato é mais severo aqui. Modelos que julgam a correção de código com F1 de 0,74–0,90 elaboram suítes de teste que admitem apenas 19–42% das soluções corretas do oráculo (com suítes de Llama admitindo ainda menos, apenas 8–10%).
• Independência de Escala: O hiato persiste através de uma faixa de 24x de parâmetros e diferentes gerações de modelos (incluindo modelos de fronteira como GPT-5.1 e Opus), embora diminua ligeiramente em construções mais simples para os modelos mais fortes.

2. Mecanismo: Omissão Silenciosa

O artigo identifica a omissão como o modo de erro dominante, que é "pobre em testemunhas" (witness-poor).

• Assimetria de Auditoria: A revisão local (subtrativa) é altamente eficaz na detecção de inclusões indevidas (falsos positivos), mas falha na detecção de omissões (falsos negativos). Em experimentos controlados, os modelos detectam inclusões indevidas plantadas 6 a 7 vezes mais frequentemente do que omissões plantadas.
• Consequência da Revisão: Como os pipelines de revisão removem preferencialmente as inclusões indevidas enquanto falham em recuperar as omissões, o processo de refinamento iterativo desloca os artefatos em direção à sub-aceitação (alta precisão, baixo recall) em vez de repará-los.

3. A Natureza do Déficit: Enumeração vs. Especificação

O artigo distingue entre a incapacidade de especificar uma regra e a incapacidade de enumerar sua extensão.

• Emissão de Predicado: Quando solicitados a escrever a regra (ex: um predicado Python def accepts(w)) em vez da lista de respostas, os modelos alcançam F1 quase perfeito (~0,99).
• Conclusão: O déficit não é uma falta de conhecimento ou uma incapacidade de especificar a lógica. É uma falha na materialização em um passo único (one-shot materialization): a incapacidade de enumerar exaustivamente o conjunto induzido por uma especificação sem lookahead, particularmente quando nenhuma regra compacta é fornecida para reestatizá-la.

4. Mitigação e Reparo

• Auto-verificação Falha: "Amostrar-então-verificar" (gerar múltiplos candidatos e filtrá-los com o próprio juiz do modelo) não fecha o hiato. A união das amostras falha em cobrir a verdade de base (limite de recuperação), e o próprio juiz do modelo colapsa sobre seus próprios candidatos próximos à fronteira.
• Portão Externo: Descartar qualquer suíte elaborada que rejeite uma sonda conhecida-como-correta (ex: uma solução de referência) reduz as taxas de rejeição falsa de 58–92% para $\le$5%. No entanto, isso descarta a maioria das suítes (rendimento de 5–39%).
• Reparo de Trace: Reescrever os valores esperados em uma suíte que falhou para corresponder à saída de uma execução de referência recupera de 3,3x a 10,6x mais suítes utilizáveis. Isso demonstra que a falha reside em computar os resultados esperados (intensional), não em selecionar os inputs (extensional).

5. Custo Subsequente: O Imposto RLVR

Quando chaves elaboradas por modelos são usadas como sinais de recompensa em RLVR:

• Tarefa Lexical: Treinar com uma chave elaborada custa 18,5 pontos de precisão (relativo ao WordNet) comparado a uma chave de oráculo.
• Tarefa de Verdade Completa: Mesmo com um conjunto mecanicamente exato, o custo é de 1,9 pontos.
• Mecanismo: A chave elaborada atua como um "canal de dois lados", privando comportamentos corretos (omissão) e recompensando incorretos (poluição). A política aprende a otimizar para a chave defeituosa, levando a um déficit de precisão permanente que não desaparece com o aumento da escala do modelo.

Significância e Alegações

O artigo alega estabelecer uma limitação fundamental no paradigma atual de uso de LLMs como verificadores e designers de recompensa.

• A Assimetria de "Meta-Nível": Embora seja bem conhecido que a verificação é mais fácil que a geração para soluções, este artigo mostra que gerar a própria especificação de verificação é mais difícil do que verificar candidatos contra um padrão. A "vantagem de verificação" não se transfere para a construção do verificador.
• Erro Direcional: A falha não é um ruído aleatório; é um viés sistemático para a omissão. Isso torna as especificações elaboradas "direcionalmente erradas" de uma forma que a revisão local não consegue certificar ou corrigir.
• Implicação Prática: O artigo argumenta que nunca se deve confiar em uma especificação elaborada em um passo único como verdade absoluta. Em vez disso, os sistemas devem:
  1. Induzir a regra (predicado) em vez do roster (lista), sempre que possível.
  2. Portar todos os verificadores elaborados contra sondas conhecidas-como-corretas.
  3. Usar execução externa para reparar valores esperados em vez de descartar o artefato inteiro.
• Modéstia: Os autores declaram explicitamente que o hiato é específico para o regime de autoria one-shot e greedy sem raciocínio em tempo de teste. Eles reconhecem que o raciocínio em tempo de teste (scratchpads) pode fechar o hiato em tarefas algorítmicas onde existe uma regra, mas não repara de forma confiável a autoria de suítes de teste onde a regra deve ser inferida a partir de prosa. Eles não alegam que os LLMs não possam ser treinados para elaborar melhores verificadores, mas que o regime zero-shot/one-shot atualmente implantado em escala é insuficiente.

Em resumo, o artigo demonstra que o papel de "examinador" está atualmente fora do alcance dos LLMs em sua forma mais exigente (enumeração exaustiva), criando um gargalo silencioso e não auditável que degrada os sistemas subsequentes, particularmente em pipelines de RLVR.