Resumen Técnico: Progreso de Compresión con Firma en una Auditoría Sellada

Planteamiento del Problema

La motivación intrínseca basada en la compresión o el progreso de la predicción es una propuesta de larga data para impulsar el aprendizaje de agentes, originada en el trabajo de Schmidhuber sobre la curiosidad artificial. La idea central es recompensar a un agente cuando su modelo de mundo mejora en la predicción o compresión de la experiencia. Sin embargo, las formulaciones informales de esta recompensa son susceptibles a la "Ley de Goodhart" (hackeo de recompensas), donde un agente maximiza la recompensa proxy sin lograr una mejora genuina en la distribución objetivo.

Se identificaron modos de falla específicos, tales como:

• Puntuación de Flujo (Stream Scoring): Agentes que mejoran en sus propios flujos de datos seleccionados de forma adaptativa mientras se degradan en la distribución objetivo.
• Recorte (Clipping): Agentes que ciclan entre estados para cosechar recompensas positivas mientras el progreso neto es cero (por ejemplo, olvidar y reaprender).
• Reutilización de Holdout: Sobreajuste a un conjunto de validación finito cuando el conjunto se reutiliza para retroalimentación escalar repetida.
• Atracción de Ruido: Bonificaciones por error de predicción que recompensan la reducción de ruido irreducible (el problema de la "TV Ruidosa").

El artículo plantea una pregunta cuantitativa: ¿Bajo qué condiciones precisas de medición se vuelve "creíble" una señal de progreso de compresión, significando que la recompensa acumulada no puede exceder la mejora de la auditoría real por un monto finito y acotado?

Metodología

Los autores proponen un marco de medición formal llamado Progreso de Compresión de Auditoría con Firma (Audit-CP) en una Auditoría Sellada.

Definiciones Centralas

1. Distribución de la Auditoría Sellada ($Q$): Una distribución fija independiente de la trayectoria de entrenamiento adaptativa del agente. El agente no puede seleccionar, distorsionar ni inspeccionar $Q$, excepto a través de un mecanismo de liberación permitido.
2. Pérdida de la Auditoría ($E(\theta)$): La pérdida esperada (p. ej., log-loss o entropía cruzada) del estado del modelo $\theta$ sobre $Q$.
3. Progreso con Firma ($r_t$): La recompensa en el paso $t$ se define como la disminución con signo de la pérdida de la auditoría:
   $$r_t = E(\theta_{t-1}) - E(\theta_t)$$
   Crucialmente, el progreso negativo (aumento de la pérdida) se le cobra al agente; las recompensas no se recortan.

Marco Teórico

El artículo establece que la recompensa acumulada durante un horizonte $T$ forma una suma telescópica:
$$\sum_{t=1}^T r_t = E(\theta_0) - E(\theta_T)$$
Esta identidad implica que la recompensa acumulada es exactamente igual a la mejora neta en la pérdida de la auditoría. En consecuencia, ninguna política puede impulsar la recompensa acumulada indefinidamente si la verdadera mejora de la auditoría se estanca o se degrada.

Para paneles de auditoría finitos (una muestra $A_n$ de tamaño $n$), la recompada es empírica ($\hat{r}_t$). El artículo demuestra que la recompensa empírica acumulada excede la mejora real por lo sumo un presupuesto de falsos positivos de $2\Delta_n$, donde $\Delta_n$ es la desviación uniforme de la clase de modelos en el panel:
$$\sum_{t=1}^T \hat{r}_t \leq E(\theta_0) - E(\theta_T) + 2\Delta_n$$
Este resultado es libre de horizonte: el costo de la adaptatividad no se acumula con el tiempo una vez que el panel controla uniformemente la clase de modelos.

Separación Algorítmica

Los autores distinguen la señal de recompensa del programador (scheduler):

• Señal de Recompensa: El Audit-CP proporciona la señal de contabilidad creíble.
• Programador: Los algoritmos de Pesos Multiplicativos (MWU) o EXP3 asignan recursos de entrenamiento entre diferentes fuentes de datos basándose en las recompensas de Audit-CP. Esta separación asegura que el programador optimice una señal creíble en lugar de un proxy hackeable.

Contribuciones Clave

1. Resistencia a Goodhart Presupuestada: El artículo define una señal como "resistente a Goodhart con presupuesto" si la recompensa acumulada no puede exceder la mejora real por más de un presupuesto finito $\Gamma$. El CP de auditoría sellada exacta tiene $\Gamma=0$; el CP de panel finito tiene $\Gamma = 2\Delta_n$.
2. Pruebas Mecanizadas: El núcleo estructural de la teoría (identidades telescópicas, límites de auditoría finita, suelos de entropía y no negatividad de Gibbs) se mecanizó en Lean 4. Esto incluye pruebas para la telescopia exacta y la resistencia condicional a Goodhart bajo desviación uniforme.
3. Teorema del Suelo de Entropía: El artículo demuestra que para la log-loss, la pérdida de la auditoría está acotada inferiormente por la entropía condicional de los datos. Esto asegura que los componentes puramente aleatorios (ruido) tienen un presupuesto de mejora finito; una vez que el modelo alcanza el suelo de entropía, no puede generar más progreso de compresión.
4. Validación Experimental: Un conjunto exhaustivo de experimentos utilizando ARC-TGI (un generador para tareas de transformación de rejilla) valida la teoría contra varios modos de falla y líneas base.

Resultados Experimentales

Los experimentos confirman los límites teóricos e identifican los límites de la validez del método:

• Concentración de Auditoría Finita: La desviación uniforme empírica ($\Delta_n$) escala como $n^{-0.527}$, coincidiendo estrechamente con la tasa teórica de $n^{-1/2}$ para clases finitas.
• Ablación de la Señal de Recompensa: En un currículo con distractores de ruido, el Audit-CP logró la mayor precisión de reconstrucción de celda activa (0.387) entre las líneas base sin oráculo, superando significativamente al error de predicción (0.338). Crucialmente, el Audit-CP asignó solo ~22% de su presupuesto de muestreo a los distractores de ruido, mientras que el error de predicción asignó ~50%.
• Signo vs. Recorte (Signed vs. Clipped): El recorte de recompensas (usando solo progreso positivo) permitió a los agentes cultivar recompensas (acumulando +1.49 de recompensa acumulada) mientras que el progreso con signo permanecía cerca de cero. Esto confirma que la contabilidad con signo es necesaria para prevenir el ciclado.
• Flujo vs. Auditoría (Stream vs. Audit): La puntuación de flujo (recompensa basada en los propios datos del agente) sobreestimó el progreso de la auditoría sellada por aproximadamente 20 veces, confirmando que la puntuación de flujo no es un proxy válido para el progreso de la auditoría.
• Ataques de Retroalimentación Escalar Adaptativa:
  • Reutilización Ingenua: Un atacante adaptativo podría sobreajustar un panel reutilizable, creando una brecha de 3.24 entre el progreso aparente y el real, excediendo el umbral de $2\Delta_n$ (1.64).
  • Defensas: Las defensas de liberación estándar (submuestreo fresco, escalonamiento, redondeo, liberación de un solo paso) suprimieron con éxito el ataque, manteniendo la brecha por debajo del umbral teórico.
• Calibración: El escalamiento de temperatura cambió la log-loss (NLL) y la ECE sin cambiar la precisión dura, demostando que el Audit-CP mide la calibración probabilística, no solo la discriminación de 0-1.

Significado y Reivindicaciones

El artículo afirma que el Progreso de Compresión con Firma en una Auditoría Sellada es una "señal de contabilidad" de mejora genuina. Su importancia radica en proporcionar una condición de medición bajo la cual la motivación intrínseca es resistente a la ley de Goodhart.

• Credibilidad: La recompensa es creíble porque es una identidad de contabilidad de punto final. Cualquier aparente recompensa a largo plazo debe ser "pagada" por una reducción genuina en la pérdida de la auditoría.
• Modos de Falla: El artículo delimita explícitamente dónde falla la garantía: si el progreso se recorta, si se puntúa sobre su propio flujo, si una clase de modelo de alta capacidad permite memorizar un panel reutilizable, o si la distribución de la auditoría no está sellada.
• Regla de Diseño: Para sistemas de motivación intrínseca y de automejora recursiva, los autores proponen una regla de diseño: usar el progreso de compresión como la recompensa auditada, usar un programador separado para la exploración, retener el progreso negativo y tratar la auditoría como un instrumento de medición protegido.

Los autores son modestos en sus afirmaciones, indicando que este trabajo proporciona una condición de medición, no una garantía de seguridad. Certifica que la señal no puede sobreestimar la mejora más allá de un presupuesto finito, pero no garantiza que la distribución de la auditoría capture todos los aspectos de la capacidad o que el agente sea seguro. El trabajo sirve para hacer visibles y matemáticamente tratables las condiciones de contorno del progreso de la compresión.