Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning

Resumen Técnico: Post-entrenamiento en el Límite de la Detectabilidad

Planteamiento del Problema
El ajuste fino mediante aprendizaje por refuerzo (RL) es un mecanismo estándar para mejorar los modelos de lenguaje extensos (LLM) en tareas específicas de objetivo, mientras se intenta preservar los comportamientos heredados de una política de referencia. El enfoque predominante, el RL regularizado por KL, equilibra estos objetivos maximizando una función de recompensa sujeta a una penalización por desviarse de la política de referencia, controlada por un coeficiente de regularización $\beta$. Sin embargo, el artículo identifica una limitación crítica: no existe un método fundamentado para establecer $\beta$. En la práctica, $\beta$ se selecciona mediante un ajuste manual heurístico o una búsqueda de hiperparámetros en cuadrícula (grid search). Este enfoque incurre en una carga computacional significativa y a menudo resulta en compensaciones subóptimas entre la maximización de la recompensa y la retención del comportamiento (término frecuentemente denominado "impuesto de alineación" o alignment tax). Además, los métodos adaptativos existentes aún requieren que el aprendiz especifique previamente una divergencia objetivo o un heurístico de actualización.

Metodología: El Juego de Detección Secuencial
Los autores proponen un marco de teoría de juegos para resolver la ambigüedad del coeficiente de regularización. Formulan un juego de detección secuencial que involucra a dos jugadores:

1. El Agente: Busca desplegar una política $\tilde{\pi}$ para maximizar la recompensa acumulada.
2. El Monitor: Observa las salidas de prompt-respuesta del agente de forma secuencial e intenta detectar desviaciones de la política de referencia $\pi_{ref}$ mientras controla la tasa de error de Tipo I (tasa de falsos positivos) a un nivel $\alpha$.

El juego progresa en pasos de tiempo discretos. Si la prueba de hipótesis secuencial del monitor rechaza la hipótesis nula (que las salidas provienen de $\pi_{ref}$), el despliegue se termina y la utilidad del agente se limita a la recompensa acumulada hasta ese tiempo de parada. El monitor busca minimizar el tiempo de parada esperado, mientras que el agente busca maximizar la recompensa acumulada esperada antes de la detección.

Análisis Teórico y Equilibrio
El artículo establece que el equilibrio de Nash de este juego produce un resultado estructural específico:

• Estrategia del Monitor: La mejor respuesta del monitor es una Prueba de Relación de Verosimilitud Secuencial (SPRT) dirigida a la política real del agente.
• Estrategia del Agiente: La política óptima del agente es un sesgo (tilt) de la política de referencia regularizado por KL. Específicamente, la política de equilibrio $\pi_{\beta^*}$ resuelve el objetivo estándar de RL regularizado por KL (Ecuación 1) con un coeficiente endógeno específico $\beta^*$.

Crucialmente, el coeficiente de equilibrio $\beta^*$ no es un hiperparámetro libre, sino que está determinado por la relación entre la recompensa esperada y la divergencia KL esperada. El agente optimiza el programa fraccionario:
$$\max_{\pi} \frac{\mathbb{E}[r(x, y)]}{\mathbb{E}[\text{KL}(\pi, \pi_{ref})]}$$
Esto proporciona una interpretación operativa de la penalización KL: representa el "precio sombra" de permanecer estadísticamente indistinguible de la política de referencia bajo un monitoreo secuencial. El $\beta^*$ de equilibrio maximiza la recompensa por unidad de distinguibilidad estadística.

Algoritmo: Bisección Estocástica
Para aprender el coeficiente de equilibrio $\beta^*$ sin una búsqueda exhaustiva en cuadrícula, los autores proponen el Algoritmo 1, un método de bisección estocástica.

• El algoritmo trata la determinación de $\beta^*$ como un problema de búsqueda de raíces para una función $M(\beta) = \mathbb{E}[r] - \beta \cdot \mathbb{E}[\text{KL}]$.
• La raíz $\beta^*$ es el punto donde la ganancia marginal de recompensa es igual al costo estadístico marginal.
• El algoritmo estrecha iterativamente el intervalo $[\beta_{low}, \beta_{high}]$ resolviendo subproblemas de RL (usando un "Oráculo de RL" como PPO o GRPO) para estimar el signo de $M(\beta)$.
• El análisis teórico muestra que el algoritmo converge a una solución de precisión $\epsilon$ en $O(\log(1/\epsilon))$ iteraciones, aprovechando técnicas de programación fraccionaria cóncava-convexa y pruebas de hipótesis secuenciales.

Resultados Experimentales
El marco fue evaluado en Qwen3-8B y Llama-3.2-1B en dos entornos:

1. Aprendizaje Continuo: El objetivo era maximizar la longitud de la respuesta (recompensa) mientras se preservaba la coherencia narrativa y gramatical (retención).

   • Hallazgos: El Algoritmo 1 seleccionó consistentemente políticas cerca del "codo" de la frontera de Pareto empírica de recompensa-retención. En contraste, las búsquedas en cuadrícula con cómputo equivalente a menudo produjeron políticas en los extremos (ya sea alta recompensa/baja coherencia o baja recompada/alta coherencia) o requirieron selección post-hoc. La política de equilibrio logró compensaciones competitivas, equilibrando eficazmente el "impuesto de alineación".

2. Auditoría de Modelos: El objetivo era detectar si un proveedor de API había ajustado finamente el modelo de manera estratégica para producir respuestas más largas permaneciendo indetectable.

   • Hallazgos: La prueba SPRT prescrita por el equilibrio del monitor detectó modificaciones estratégicas significativamente más rápido que las líneas base naturales (por ejemplo, pruebas de mezcla uniforme), mientras controlaba estrictamente la tasa de error de Tipo I. Por ejemplo, en Llama-3.2-1B, la prueba del monitor detectó desviaciones en aproximadamente 1.75 a 5.31 pasos, mientras que la línea base requirió de 6.23 a 20.36 pasos, presentando la línea base tasas de falsos positivos más altas.

Significado y Reivindicaciones
El artículo sostiene tres contribuciones principales:

1. Unificación Teórica: Proporciona una derivación de teoría de juegos para el objetivo estándar de RL regularizado por KL, mostrando que la política óptima en un juego de detección es precisamente la política sesgada por KL. Esto recupera una práctica ampliamente utilizada pero la fundamenta en un marco estadístico riguroso.
2. Selección de Hiperparámetros Fundamentada: Ofrece un método para determinar el coeficiente de regularización $\beta$ de forma endógena. En lugar de tratar a $\beta$ como un hiperparámetro ajustable, el enfoque de equilibrio lo define como el valor que maximiza la recompensa por unidad de distinguibilidad estadística.
3. Capacidad de Auditoría: El marco permite un enfoque fundamentado para auditar las API de modelos de código abierto. Demuestra que un monitor puede usar la prueba de equilibrio para detectar el ajuste fino estratégico oculto de manera más eficiente que las líneas base estadísticas estándar.

Los autores mantienen un tono modesto respecto a sus resultados empíricos, describiendo los hallazgos de aprendizaje continuo como "evidencia preliminar" y señalando que se requiere más trabajo para cerrar la brecha entre el análisis de equilibrio y el ajuste fino de RL a gran escala. Enfatizan que su método permite una integración flexible en los procesos de ajuste fino estándar sin requerir nuevas funciones de objetivo, solo un método fundamentado para seleccionar la fuerza de la regularización.