Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines

Resumo Técnico: Quem Derivou? Atribuição Válida a Qualquer Momento em Pipelines de Avaliação de LLM

1. O Problema

A avaliação contínua de produtos de Grandes Modelos de Linguagem (LLMs) depende cada vez mais de pipelines de "LLM-como-juiz", onde um modelo forte pontua interações para disparar alertas quando o desempenho degrada. A premissa fundamental nesses sistemas é que o juiz atua como uma régua fixa; portanto, uma queda nas pontuações implica uma regressão no produto. No entanto, o próprio juiz é um modelo baseado em API sujeito a atualizações silenciosas de versão, mudanças de prompt ou alterações de política.

Quando um sistema de monitoramento dispara um alarme, ele enfrenta uma ambiguidade: o produto teve uma queda de qualidade ou o comportamento de pontuação do juiz mudou? Agir sobre a atribuição errada é custoso: equipes podem reverter um produto saudável ou lançar uma regressão ao descartar o alarme como um "desvio do juiz" (judge drift). Métodos estatísticos clássicos, como testes z de rolagem (rolling z-tests), falham neste contexto de monitoramento contínuo porque carecem de validade a qualquer momento (anytime-validity); executar um teste de $\alpha$ fixo em cada etapa infla a taxa de falsos alarmes, levando a detecções espúrias mesmo em fluxos sem desvio.

2. Metodologia

O artigo propõe um framework para distinguir o desvio do sistema do desvio do juiz usando e-processos válidos a qualquer momento e uma regra de atribuição ancorada em humanos.

A. O Monitor Principal Orçado (Detecção de Desvio do Sistema)
O sistema emprega um monitor estratificado e impulsionado por predição (seguindo Csillag et al., 2025b; Angelopoulos et al., 2023) para detectar regressões de qualidade:

• Arquitetura: Um juiz barato ($\mu$) pontua cada item, enquanto um juiz forte e caro ($y$) pontua um subconjunto amostrado sob um orçamento fixo.
• Mecanismo: Para cada célula (rubrica $\times$ estrato), um e-processo impulsionado por predição acumula "riqueza" para testar a hipótese nula de que a média da pontuação não caiu abaixo de uma linha de base saudável.
• Eficiência de Custo: O sistema utiliza um gatilho de escalonamento de riqueza de e-processo (e-wealth escalation). À medida que a evidência de desvio se acumula, a probabilidade de amostragem para o juiz forte aumenta. Isso permite que o sistema detecte regressões de pontos cegos localizados a aproximadamente um terço do custo de uma avaliação completa, mantendo a validade a qualquer momento (garantindo que a taxa de falsos alarmes permaneça limitada em qualquer tempo de parada).

B. A Construção da Âncora (Detecção de Desvio do Juiz)
Para resolver a ambiguidade de atribuição, os autores introduzem um segundo e-processo independente, ancorado em rótulos humanos fixos:

• Conjunto de Âncora ($A$): Uma coleção fixa e reservada de itens com rótulos humanos congelados ($h$), extraída antes do início do monitoramento.
• Intercalação: Em uma taxa constante (ex: a cada $1/\rho$ itens), o juiz forte atual reavalia um item de âncora selecionado aleatoriamente.
• O E-Processo: Um e-processo de apostas rastreia a lacuna entre a pontuação atual do juiz no item de âncora e o rótulo humano congelado.
• Assimetria: Como os itens de âncora e os rótulos humanos são fixos, apenas uma mudança no juiz pode alterar a distribuição da lacuna. O desvio do sistema afeta os itens que chegam, mas deixa a lacuna da âncora inalterada. Isso cria um "espelho de via única" que detecta exclusivamente o desvio do juiz.

C. A Regra de Atribuição (Janela de Guarda)
O sistema combina os tempos de parada do processo principal ($\tau_{sys}$) e do processo de âncora ($\tau_{anc}$) usando uma janela de guarda ($W$) para emitir um veredito em $\{nenhum, sistema, juiz\}$:

• Veredito de Juiz: Se o processo de âncora disparar primeiro ($\tau_{anc} < \infty$) e o processo principal disparar dentro da janela de guarda ($\tau_{sys} \le \tau_{anc} + W$), o veredito é juiz. A lógica é que um juiz contaminado invalida o alarme principal.
• Veredito de Sistema: Se o processo principal disparar primeiro e o processo de âncora não disparar dentro da janela de guarda, o veredito é sistema.
• Condição de Corrida: O design depende de uma "corrida de atribuição". Para evitar má atribuição, o processo de âncora deve ser provisionado para detectar o desvio do juiz mais rápido do que o processo principal contaminado consegue disparar um falso alarme de sistema.

3. Principais Contribuições

1. Construção de Âncora e Regra de Atribuição: Um método inovador usando um e-processo ancorado em humanos e válido a qualquer momento para separar explicitamente o desvio do juiz do desvio do sistema, emitindo um veredito de três estados em vez de um alarme binário.
2. Garantias Teóricas:
   • Validade a Qualquer Momento: A família de âncoras mantém uma taxa de falsos alarmes limitada ($\alpha_{judge}$) em qualquer tempo de parada dependente dos dados.
   • Identificação de Via Única: O processo de âncora é matematicamente garantido como insensível ao desvio do sistema; ele só pode ser disparado por uma mudança no juiz.
   • Corrida de Atribuição: O artigo estabelece uma lei de design onde o processo de âncora deve ser provisionado para "ultrapassar" o processo principal. A má atribuição (falsos alarmes de sistema durante o desvio do juiz) é uma função da largura da guarda, da taxa da âncora e do tamanho do conjunto de âncora.
   • Ortogonalidade: O orçamento da âncora e a configuração do processo principal são independentes, permitindo a sintonia separada da latência do juiz e do poder do sistema.
3. Validação Empírica em Desvios Reais: O método foi testado em duas mudanças reais de juiz (uma atualização silenciosa de versão e uma atualização de política de prompt estrito) em dois domínios (HelpSteer2 e sumarização TL;DR) sem necessidade de re-sintonia.
4. Superioridade Operacional: O e-processo proposto supera significativamente os baselines clássicos (testes z de rolagem ingênuos e detectores Page–Hinkley calibrados) em termos de controle de falsos alarmes e detecção de desvios sutis.

4. Resultados

• Precisão de Detecção:
  • Atualização Silenciosa de Versão: Detectada como desvio de juiz em 60/60 execuções com zero erro de atribuição de juiz para sistema.
  • Mudança de Prompt Estrito: Atribuída corretamente em 110/120 execuções (com largura de guarda $W=300$) no HelpSteer2. No domínio TL;DR, onde a mudança de prompt foi mais severa, a atribuição foi perfeita (240/240).
  • Má Atribuição: A taxa de falsos alarmes de sistema durante o desvio do juiz diminuiu monotonicamente à medida que a janela de guarda ($W$) aumentava, confirmando a teoria da "corrida de atribuição".
• Comparação com Baselines:
  • Um teste z de rolagem ingênuo (padrão da indústria) gerou falsos alarmes em 75% dos fluxos sem desvio.
  • Um detector Page–Hinkley calibrado manteve seu orçamento de falsos alarmes, mas falhou em detectar o desvio de versão sutil (apenas 8% de detecção no HelpSteer2) e exigiu dados de calibração reservados.
• Eficiência de Custo: O monitor opera a aproximadamente 0,64 do custo de avaliar todos os itens (ou 0,21 em um regime "mais barato, porém menos sensível").

5. Significância e Alegações

O artigo afirma resolver uma falha crítica e não endereçada na operação de LLMs: a incapacidade de distinguir entre a degradação do produto e a instabilidade do juiz em monitoramento contínuo.

• Impacto Prático: A construção fornece uma garantia nítida de que o desvio do juiz nunca será silenciosamente atribuído ao sistema além de um orçamento de erro definido ($\alpha_{judge}$). Isso evita que equipes tomem decisões operacionais caras e incorretas (ex: reverter modelos saudáveis).
• Contribuição Teórica: Demonstra que a validade a qualquer momento não é apenas uma elegância teórica, mas uma necessidade prática para monitoramento contínuo, já que métodos de horizonte fixo falham catastroficamente sob testes sequenciais.
• Lei de Design: O artigo estabelece que a atribuição é uma condição de corrida. Ele fornece uma receita concreta de "co-provisionamento": o orçamento da âncora deve ser dimensionado para garantir que o processo de âncora detecte o desvio do juiz mais rápido do que o processo principal contaminado pode disparar um falso alarme de sistema.
• Limitações: Os autores observam modestamente que o método assume que os rótulos humanos permanecem uma referência válida (exigindo atualização periódica se os padrões evoluírem) e que não reivindica otimalidade em estratégias de apostas ou erro mínimo de má atribuição em orçamentos fixos, mas sim validade e identificação.

Em resumo, o artigo apresenta um framework robusto e consciente de custos que transforma o ambíguo "alarme de desvio" em uma atribuição verificável, garantindo que a "régua" seja monitorada tão rigorosamente quanto o próprio "produto" que ela mede.