Resumo Técnico: Progresso de Compressão Assinado em uma Auditoria Selada

Declaração do Problema

A motivação intrínseca baseada em compressão ou progresso de predição é uma proposta de longa data para impulsionar o aprendizado de agentes, originária do trabalho de Schmidhuber sobre curiosidade artificial. A ideia central é recompensar um agente quando seu modelo de mundo melhora na predição ou compressão da experiência. No entanto, formulações informais dessa recompensa são suscetíveis à "Lei de Goodhart" (hack de recompensa), onde um agente maximiza o proxy de recompensa sem alcançar uma melhoria genuína na distribuição alvo.

Modos de falha específicos identificados incluem:

• Pontuação de Fluxo (Stream Scoring): Agentes melhorando em seus próprios fluxos de dados selecionados adaptativamente enquanto degradam na distribuição alvo.
• Clivagem (Clipping): Agentes ciclando entre estados para colher recompensas positivas enquanto o progresso líquido é zero (ex: esquecimento e releitura).
• Reuso de Holdout (Holdout Reuse): Overfitting em um conjunto de validação finito quando o conjunto é reutilizado para feedback escalar repetido.
• Atração de Ruído (Noise Attraction): Bônus de erro de predição recompensando a redução de ruído irredutível (o problema da "TV Ruidosa").

O artigo faz uma pergunta quantitativa: Sob quais condições precisas de medição um sinal de progresso de compressão torna-se "crível", significando que a recompensa cumulativa não pode exceder a melhoria real da auditoria por um valor finito e limitado?

Metodologia

Os autores propõs um framework de medição formal chamado Progresso de Auditoria de Compressão Assinado (Audit-CP) em uma Auditoria Selada.

Definições Principais

1. Distribuição de Auditoria Selada ($Q$): Uma distribuição fixa independente da trajetória de treinamento adaptativa do agente. O agente não pode selecionar, distorcer ou inspecionar $Q$, exceto através de um mecanismo de liberação permitido.
2. Perda de Auditoria ($E(\theta)$): A perda esperada (ex: log-loss ou cross-entropy) do estado do modelo $\theta$ sobre $Q$.
3. Progresso Assinado ($r_t$): A recompensa no passo $t$ é definida como a diminuição assinada da perda de auditoria:
   $$r_t = E(\theta_{t-1}) - E(\theta_t)$$
   Crucialmente, o progresso negativo (aumento de perda) é cobrado do agente; as recompensas não são clipadas.

Framework Teórico

O artigo estabelece que a recompensa cumulativa ao longo de um horizonte $T$ forma uma soma telescópica:
$$\sum_{t=1}^T r_t = E(\theta_0) - E(\theta_T)$$
Esta identidade implica que a recompensa cumulativa é exatamente igual à melhoria líquida na perda de auditoria. Consequentemente, nenhuma política pode impulsionar a recompensa cumulativa indefinidamente se o verdadeiro desempenho da auditoria estagnar ou degradar.

Para painéis de auditoria finitos (uma amostra $A_n$ de tamanho $n$), a recompensa é empírica ($\hat{r}_t$). O artigo prova que a recompensa empírica cumulativa excede a melhoria real em no máximo um orçamento de falso-positivo de $2\Delta_n$, onde $\Delta_n$ é o desvio uniforme da classe de modelos no painel:
$$\sum_{t=1}^T \hat{r}_t \leq E(\theta_0) - E(\theta_T) + 2\Delta_n$$
Este resultado é isento de horizonte: o custo da adaptividade não se acumula ao longo do tempo uma vez que o painel controla uniformemente a classe do modelo.

Separação Algorítmica

Os autores distinguem o sinal de recompensa do agendador (scheduler):

• Sinal de Recompensa: O Audit-CP fornece o sinal de contabilidade crível.
• Agendador: Multiplicative Weights (MWU) ou algoritmos EXP3 alocam recursos de treinamento entre diferentes fontes de dados com base nas recompensas de Audit-CP. Essa separação garante que o agendador otimize um sinal crível em vez de um proxy hackável.

Contribuições Principais

1. Resistência a Goodhart Orçada: O artigo define um sinal como "resistente a Goodhart sob orçamento" se a recompensa cumulativa não pode exceder a melhoria real por mais do que um orçamento finito $\Gamma$. O CP de auditoria selada exata tem $\Gamma=0$; o CP de painel finito tem $\Gamma = 2\Delta_n$.
2. Provas Mecanizadas: O núcleo estrutural da teoria (identidades telescópicas, limites de auditoria finita, pisos de entropia e não-negatividade de Gibbs) é mecanizado em Lean 4. Isso inclui provas para o telescópio exato e a resistência a Goodhart condicional sob desvio uniforme.
3. Teorema do Piso de Entropia: O artigo prova que, para log-loss, a perda de auditoria é limitada inferiormente pela entropia condicional dos dados. Isso garante que componentes puramente aleatórios (ruído) tenham um orçamento de melhoria finito; uma vez que o modelo atinge o piso de entropia, ele não pode gerar mais progresso de compressão.
4. Validação Experimental: Um conjunto abrangente de experimentos usando ARC-TGI (um gerador para tarefas de transformação de grade) valida a teoria contra vários modos de falha e baselines (RND, ICM, curiosidade de erro de predição).

Resultados Experimentais

Os experimentos confirmam os limites teóricos e identificam as fronteiras da validade do método:

• Concentração de Auditoria Finita: O desvio uniforme empírico ($\Delta_n$) escala como $n^{-0.527}$, aproximando-se estreitamente da taxa teórica de $n^{-1/2}$ para classes finitas.
• Ablação de Sinal de Recompensa: Em um currículo com distratores de ruído, o Audit-CP alcançou a maior precisão de reconstrução de célula ativa (0.387) entre os baselines não-oráculos, superando significativamente o erro de predição (0.338). Crucialmente, o Audit-CP alocou apenas ~22% de seu orçamento de amostragem para distratores de ruído, enquanto o erro de predição alocou ~50%.
• Assinado vs. Clipado: O uso de recompensas clipadas (usando apenas progresso positivo) permitiu que agentes fizessem "farming" de recompensa (acumulando +1.49 de recompensa cumulativa) enquanto o progresso assinado permanecia próximo de zero. Isso confirma que a contabilidade assinada é necessária para evitar ciclos.
• Fluxo vs. Auditoria: O progresso pontuado por fluxo (recompensa baseada no próprio dado do agente) superestimou o progresso da auditoria selada em aproximadamente 40×, confirmando que a pontuação de fluxo não é um proxy válido para o progresso da auditoria.
• Ataques de Feedback Escalar Adaptativo:
  • Reuso Ingênuo: Um atacante adaptativo poderia sofrer overfitting em um painel reutilizável, criando um gap de 3.24 entre o progresso aparente e o real, excedendo o limite de $2\Delta_n$ (1.64).
  • Defesas: Defesas de liberação padrão (subamostragem fresca, laddering, arredondamento, liberação de etapa única) suprimiram o ataque com sucesso, mantendo o gap abaixo do limite teórico.
• Calibração: O escalonamento de temperatura mudou o log-loss (NLL) e o ECE sem mudar a precisão de decisão (hard accuracy), demonstrando que o Audit-CP mede calibração probabilística, não apenas discriminação 0-1.

Significância e Alegações

O artigo afirma que o Progresso de Compressão Assinado em uma Auditoria Selada é um "sinal de contabilidade" de melhoria genuína. Sua significância reside no fato de fornecer uma condição de medição precisa sob a qual a motivação intrínseca é resistente à Lei de Goodhart.

• Credibilidade: A recompensa é crível porque é uma identidade de contabilidade de ponto final. Qualquer recompensa de longo prazo aparente deve ser "paga" por uma redução genuína na perda de auditoria.
• Modos de Falha: O artigo delimita explicitamente onde a garantia falha: se a progressão for clipada, se for pontuada no próprio fluxo do agente, se uma classe de modelo de alta capacidade for permitida para memorizar um painel reutilizável, ou se a distribuição de auditoria não for selada.
• Regra de Design: Para motivação intrínseca e sistemas de auto-melhoria recursiva, os autores propõem uma regra de design: use o progresso de compressão como a recompensa auditada, use um agendador separado para exploração, mantenha o progresso negativo e trate a auditoria como um instrumento de medição protegido.

Os autores são modestos em suas alegações, afirmando que este trabalho fornece uma condição de medição, não uma garantia de segurança. Ele certifica que o sinal não pode superestimar a melhoria além de um orçamento finito, mas não garante que a distribuição de auditoria capture todos os aspectos da capacidade ou que o agente seja seguro. O trabalho serve para tornar visíveis e matematicamente tratáveis as condições de contorno do progresso de compressão.