AsymmetryZero: A Framework for Operationalizing Human Expert Preferences as Semantic Evals

O artigo apresenta o AsymmetryZero, um framework que operacionaliza preferências de especialistas humanos em contratos de avaliação explícitos e reutilizáveis para ambientes de modelo único e agênticos, demonstrando que júris compactos podem alcançar resultados em nível de tarefa comparáveis aos de júris de ponta, reduzindo significativamente custos e latência de julgamento, apesar de uma discordância interna mais elevada.

O essencial

Imagine que você está organizando uma competição de culinária massiva. Você tem milhares de chefs (modelos de IA) tentando criar o prato perfeito, mas "perfeito" é subjetivo. Um juiz pode se importar com o sal, outro com a apresentação e um terceiro com o tempo de cozimento.

No passado, tentar avaliar esses pratos era confuso. Às vezes, os juízes apenas escreviam uma nota vaga como "Isso tem bom gosto" ou discutiam interminavelmente sobre por que um prato era melhor que outro. Este artigo apresenta um novo sistema chamado AsymmetryZero para corrigir essa confusão e, em seguida, testa duas maneiras diferentes de contratar os juízes.

Aqui está a explicação em termos simples:

1. O Problema: A Armadilha do "Juiz Vago"

Atualmente, quando testamos IAs, frequentemente pedimos a uma IA superinteligente que avalie o trabalho de outra IA. Mas se você apenas disser "Avalie esta redação", o avaliador pode usar suas próprias regras ocultas. Ele pode gostar de respostas longas ou pode ficar confuso com o tema. É como contratar um crítico gastronômico que não tem uma lista de verificação; você nunca sabe se ele está julgando a comida ou apenas seu humor.

2. A Solução: O "Contrato de Avaliação"

Os autores criaram o AsymmetryZero, que é basicamente uma receita estrita para avaliação.

Em vez de um prompt vago, cada tarefa vem com um "Contrato". Esse contrato é como uma ficha de pontuação detalhada que diz:

• O que estamos avaliando? (Ex: "O chef usou sal?")
• Como verificamos isso? (Ex: "Se a palavra 'sal' aparecer, dê 10 pontos.")
• Quem decide? (Um único juiz ou um grupo?)
• Qual é a pontuação mínima para passar?

Esse contrato funciona tanto para IAs simples (apenas escrevendo texto) quanto para agentes de IA complexos (robôs que usam ferramentas e realizam múltiplos passos). A parte legal é que o mesmo contrato pode ser usado para avaliar um bot de texto simples ou um robô complexo, e as pontuações serão comparáveis.

3. O Experimento: Os "Grandes Juízes" vs. Os "Pequenos Juízes"

Os autores queriam saber: Precisamos de juízes caros e superinteligentes para avaliar esses contratos, ou podemos usar juízes mais baratos e menores?

Eles montaram um teste com 75 tarefas complexas (como resolver matemática avançada ou problemas de programação). Usaram quatro modelos de IA "concorrentes" diferentes para resolver as tarefas. Em seguida, avaliaram essas soluções usando dois grupos diferentes de IAs "Juízes":

• O Júri de Vanguarda (Os Grandes Juízes): Um painel de 5 dos modelos de IA mais poderosos, caros e inteligentes disponíveis.
• O Júri Compacto (Os Pequenos Juízes): Um painel de 5 modelos de IA menores, mais baratos e mais rápidos.

4. Os Resultados: Os "Juízes Mais Baratos" São Mais Ruidosos

Aqui está o que eles descobriram:

• A Pontuação Final é Similar: Quando você soma todos os pontos, os "Grandes Juízes" e os "Pequenos Juízes" geralmente concordam sobre quem venceu a competição. Se uma tarefa passou para os Grandes Juízes, geralmente passou também para os Pequenos Juízes.
• Os Detalhes São Confusos: No entanto, quando você olha para as etapas individuais (os critérios específicos na ficha de pontuação), os Pequenos Juízes discordaram dos Grandes Juízes entre 15% e 25% das vezes.
• O Problema do "Apontar o Dedo": O maior problema foi que os Pequenos Juízes nem conseguiam concordar entre si.
  • Os Grandes Juízes eram como um comitê calmo; eles quase sempre concordavam (apenas 6–11% das vezes estavam divididos).
  • Os Pequenos Juízes eram como uma sala caótica; eles discutiam constantemente entre si (dividindo-se 3 contra 2 cerca de 30% das vezes).

A Analogia: Imagine avaliar uma prova de matemática.

• Grandes Juízes: Todos os cinco professores olham para a resposta e dizem: "Sim, está correto."
• Pequenos Juízes: Três professores dizem "Correto", mas dois dizem "Incorreto porque a letra é feia", mesmo que a matemática esteja certa. Eles estão discutindo consigo mesmos.

5. A Troca: Custo vs. Consistência

Os Pequenos Juízes eram incrivelmente baratos e rápidos.

• Custo: Custavam cerca de 97% menos que os Grandes Juízes.
• Velocidade: Eram cerca de 82% mais rápidos.

O Veredito:
Se você apenas quer uma verificação rápida e barata para ver se um sistema está funcionando geralmente (como um "teste de sanidade"), os Pequenos Juízes são ótimos. Eles economizam uma fortuna.

Mas, se você precisa saber exatamente por que algo falhou, ou se precisa de um rastro de auditoria perfeito para decisões de alto risco, os Pequenos Juízes são muito "ruidosos". Eles discutem demais entre si para serem confiáveis nos detalhes finos.

Resumo

O artigo argumenta que como você escreve as regras de avaliação (o contrato) é tão importante quanto quem você contrata para avaliar.

Você pode economizar muito dinheiro usando juízes de IA menores e mais baratos, mas precisa aceitar que eles discutirão entre si com mais frequência. Se você precisa de um veredito calmo e consistente, ainda precisa dos juízes caros e de "Vanguarda". Se você apenas precisa de uma estimativa aproximada, os baratos farão o trabalho.

Resumo técnico

Resumo Técnico: AsymmetryZero

Declaração do Problema

O artigo identifica uma lacuna crítica nas atuais pipelines de Aprendizado por Reforço (RL) e avaliação de IA: a dificuldade de operacionalizar requisitos subjetivos, procedimentais e específicos de domínio de especialistas humanos em sinais de avaliação escaláveis. Enquanto métricas de correspondência exata são suficientes para tarefas determinísticas, elas falham em tarefas semânticas, multifatoriais ou abertas. Por outro lado, a avaliação por LLMs de forma aberta frequentemente deixa políticas de classificação implícitas dentro dos prompts, levando à instabilidade e à falta de auditabilidade. Os autores argumentam que o desafio central no pós-treinamento não é meramente pontuar modelos, mas a codificação fiel dos requisitos dos especialistas na própria avaliação.

Metodologia: O Framework AsymmetryZero

Para abordar isso, os autores apresentam o AsymmetryZero, um framework que operacionaliza preferências de especialistas humanos como avaliações semânticas por meio de um contrato de avaliação estável.

Componentes Principais

1. Contratos de Avaliação: Em vez de um único prompt ou chave de resposta, uma tarefa é definida como um contrato portátil que separa entradas de execução (prompts, referências) de entradas de classificação (critérios, pesos, limiares).

   • Estrutura: Cada critério declara explicitamente seu peso, prompt e tipo de classificador (seja ExactMatch ou llm-judge).
   • Agregação: Decisões no nível do critério são agregadas em uma pontuação de tarefa ($S = \sum w_i \hat{v}_i$). Uma tarefa é aprovada se $S \ge \tau$.
   • Consenso do Júri: Para critérios llm-judge, um painel de classificadores ($J_i$) vota. O consenso é determinado por maioria estrita ($\hat{v}_i = 1$ se $\sum v_{ij} > |J_i|/2$); empates resultam em reprovação.

2. Ambientes de Execução Duplos: O framework desacopla a semântica da avaliação da execução:

   • Inspect: Utilizado para avaliações apenas de modelos.
   • Harbor: Utilizado para avaliações de agentes (especificamente usando um agente terminus2).
   • Ambos os ambientes consomem o mesmo contrato, garantindo pontuações comparáveis e artefatos de auditoria compartilhados entre as saídas de modelos e agentes.

3. Auditabilidade: O sistema gera rastreamentos detalhados, registrando resultados por critério, votos dos classificadores, justificativas e contribuições de peso, permitindo a análise de modos de falha e dissidências.

Estudo Empírico: Capacidade do Júri e Substituição

O artigo apresenta um estudo empírico utilizando o benchmark PORTEX-COMPOSITE para responder se júris "compactos" menores e mais baratos podem substituir júris "fronteira" caros sem comprometer a integridade da avaliação.

Configuração Experimental

• Tarefa: 75 tarefas de classe fronteira avaliadas em quatro modelos solucionadores (Claude Opus 4.6, GPT-5.4, Grok-4.20, Gemini-3.1-Pro).
• Condições do Júri:
  • Júri Fronteira: 5 modelos grandes, de última geração e de pesos abertos.
  • Júri Compacto: 5 modelos menores de pesos abertos.
• Métricas: Concordância no nível do critério, desacordo dentro do grupo (taxas de dissidência), estabilidade da pontuação da tarefa e eficiência econômica (custo, latência, tokens).

Resultados Principais

1. Divergência no Nível do Critério: Júris compactos e fronteira não concordam perfeitamente.

   • Concordância da Maioria: Varia de 75,9% a 89,6% entre execuções (subconjunto comum estrito: 77,8%–92,1%).
   • Implicação: Substituir classificadores fronteira por compactos altera uma parcela não trivial das decisões semânticas dos critérios.

2. Dissidência Interna (Estabilidade): Júris compactos exibem instabilidade interna significativamente maior.

   • Divisões 3–2: Júris fronteira tiveram médias de taxas de divisão de 6,1%–11,5%, enquanto júris compactos tiveram médias de 28,7%–32,4%.
   • Conclusão: Júris compactos discordam mais dos júris fronteira e mais entre si.

3. Estabilidade no Nível da Tarefa: Apesar da divergência no nível do critério, os resultados agregados das tarefas são frequentemente semelhantes.

   • Correlação: A correlação de Pearson entre as pontuações de tarefas fronteira e compacta é 0,88 (faixa de 0,81–0,93).
   • Mudança de Pontuação: 70%–87% das tarefas classificadas não mostraram mudança de pontuação entre os grupos.
   • Nuance: A estabilidade parece "frágil", dependendo da cancelamento de erros em somas ponderadas em vez de julgamento consistente no nível do critério.

4. Eficiência Econômica: Júris compactos oferecem ganhos massivos de eficiência.

   • Custo: Reduzido em ~97% por critério.
   • Latência: Reduzida em ~82%.
   • Tokens: Tokens de saída reduzidos em ~75%.

5. Análise de Desacordo:

   • Comprimento da Resposta: Embora respostas mais longas corrijam com maior desacordo, a modelagem estatística (modelo misto ordinal) não encontrou evidências fortes de que júris compactos sejam mais sensíveis ao comprimento do que júris fronteira. O principal motor do desacordo é o próprio tipo de grupo (grupos compactos são inerentemente mais ruidosos).
   • Modos de Falha: Revisão qualitativa sugere que júris compactos falham pelas mesmas razões que júris fronteira (por exemplo, literalismo versus substância), mas aplicam os padrões de forma menos uniforme.

Contribuições Principais

1. Framework Operacional: O AsymmetryZero fornece um sistema concreto para transformar conhecimento especializado em contratos de avaliação auditáveis e executáveis que funcionam tanto para modelos quanto para agentes.
2. Classificação Semântica Baseada em Rubrica: Avança além da prompts abertas para classificação estruturada e centrada em critérios com regras de agregação explícitas.
3. Evidência Empírica sobre Capacidade do Júri: O estudo fornece evidências baseadas em dados de que, embora júris compactos sejam economicamente viáveis para monitoramento de alto volume, eles ainda não são equivalentes em decisão aos júris fronteira para avaliação auditável no nível do critério devido à maior variância e dissidência interna.

Significado e Alegações

O artigo afirma que a confiabilidade da avaliação depende tanto do contrato quanto do classificador.

• Para Praticantes: O framework permite que organizações separem a definição de "o que importa" (o contrato) de "quanto custa" (a seleção do classificador).
• Insight Estratégico: Júris compactos são adequados para monitoramento de baixo custo de resultados onde as pontuações finais da tarefa importam mais do que os rastreamentos específicos dos critérios. No entanto, para decisões de alto risco que exigem auditabilidade no nível do critério, os júris fronteira permanecem o padrão devido ao seu consenso interno superior.
• Direção Futura: Os autores sugerem que a lacuna entre o comportamento compacto e fronteira poderia ser reduzida via destilação on-policy (treinamento de avaliadores compactos para imitar decisões de júris fronteira), mas isso é identificado como trabalho futuro, não uma capacidade atual.

Os autores permanecem modestos, observando que seu estudo avalia a comparabilidade entre júris, não a correção absoluta contra uma verdade fundamental humana, e que os resultados são específicos para as tarefas orientadas a STEM e a configuração de agente Harbor testadas.