🤖 AI

Auditing Data Membership in Reinforcement Learning With Verifiable Rewards

Este artículo introduce la Auditoría de Divergencia en el Comportamiento (DIBA), un marco de caja blanca que detecta eficazmente la exposición no autorizada de datos en el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) mediante el análisis de los desplazamientos en las distribuciones del comportamiento y del lado de la recompensa entre los puntos de control del modelo antes y después del RLVR, superando significativamente las líneas base existentes de inferencia de pertenencia.

Autores originales: Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Panorama General: El Problema de la "Receta Secreta"

Imagina a un chef famoso (un Modelo de Lenguaje Grande) que aprende a cocinar probando miles de recetas. Recientemente, un nuevo método de cocina llamado RLVR (Aprendizaje por Refuerzo con Recompensas Verificables) se ha vuelto popular. En lugar de simplemente memorizar una tarjeta de receta específica, el chef intenta cocinar un plato muchas veces. Si el plato sabe bien (pasa una prueba de sabor estricta), el chef recibe una recompensa y recuerda ese intento. Si sabe mal, lo intenta de nuevo.

El problema es que estas "pruebas de sabor" a menudo utilizan recetas secretas y de alto valor (como problemas matemáticos propietarios o código privado) que los dueños del chef no querían que el público conociera.

La Pregunta: Si ves el menú final del chef, ¿puedes decir si practicó en secreto con tu receta secreta específica?

La Vieja Forma vs. La Nueva Forma

La Vieja Forma (El Ataque de "Objetivo Fijo"):
En el pasado, los auditores intentaban atrapar al chef verificando si había memorizado una frase específica. Era como preguntar: "¿Memorizaste las palabras exactas de esta página específica?". Si el chef podía recitar la página perfectamente, era atrapado.

Por qué falla aquí: En RLVR, el chef no está memorizando una frase específica. Está generando nuevas soluciones sobre la marcha. No hay una única "respuesta correcta" contra la cual comparar, por lo que el método antiguo no funciona.

La Nueva Forma (DIBA - La "Huella Digital Conductual"):
Los autores proponen un nuevo método llamado DIBA (Auditoría de Divergencia en el Comportamiento). En lugar de buscar una frase memorizada, buscan cambios en el estilo de cocina del chef.

Comparan el menú actual del chef contra una foto "antes" del chef (el modelo antes de que comenzara el entrenamiento RLVR). Buscan dos pistas específicas:

La Pista de la Recompensa (¿Mejoraron?):
- Analogía: ¿El chef de repente se volvió mucho mejor resolviendo un tipo específico de acertijo con el que luchaba antes?
- Si el chef era malo en "Acertijos de Geometría" antes, pero después del entrenamiento los resuelve perfectamente, es una fuerte pista de que practicó con esos acertijos.
La Pista del Estilo (¿Cambió su personalidad?):
- Analogía: Incluso si el chef resuelve el acertijo, ¿cambió cómo habla mientras lo hace? Quizás comenzó a usar oraciones más cortas o un tono de voz diferente al resolver ese acertijo específico.
- Esto es la "deriva conductual". Incluso si la respuesta es correcta, el camino que tomaron para llegar allí podría verse diferente a como era antes del entrenamiento.

Cómo Funciona DIBA (El Kit de Herramientas del Detective)

El auditor actúa como un detective con dos herramientas:

El Marcador: Verifican si la tasa de éxito del modelo en una pregunta específica aumentó después del entrenamiento.
La Grabadora de Voz: Escuchan el "proceso de pensamiento" del modelo (la probabilidad de cada palabra que elige) para ver si suena diferente a la versión "antes".

Al combinar estas dos, DIBA crea una "huella digital" que dice: "Este modelo definitivamente practicó con este prompt específico".

Lo Que Encontró el Artículo

Los investigadores probaron esto en problemas matemáticos (las "recetas secretas") y encontraron algunas reglas interesantes:

Funciona mejor en Prompts de "Aprendizaje": DIBA es excelente para detectar prompts donde el modelo realmente aprendió algo nuevo. Si el modelo ya era un maestro en un problema antes del entrenamiento, DIBA no puede decir si practicó con él (porque no hubo cambio en el comportamiento).
Es una Herramienta de "Caja Blanca": Para usar esto, el auditor necesita ver los "logits" internos del modelo (los números crudos que el modelo usa para decidir su siguiente palabra). Es como necesitar ver el cuaderno privado del chef, no solo el plato final.
Es Más Difícil con Prompts "Fáciles": Si un prompt es tan fácil que el modelo ya era perfecto en él, el modelo no cambia mucho su comportamiento durante el entrenamiento. Sin un cambio, no hay huella digital que encontrar.
Funciona en diferentes tamaños: El método funciona tanto si el chef es un aprendiz pequeño (modelo de 3B) como un chef maestro (modelo de 7B), siempre que usen la misma receta de entrenamiento.
Funciona en imágenes también: Lo probaron en modelos Visión-Lenguaje (modelos que ven imágenes y resuelven matemáticas). Todavía funcionó, aunque fue un poco más difícil de detectar porque el "ruido visual" hizo que las huellas digitales fueran ligeramente más borrosas.

¿Puedes Ocultar Tus Huellas?

El artículo también preguntó: "¿Puede el chef ocultar esto?".

Entrenar Más Duro: Hacer que el modelo entrena "más cuidadosamente" (usando regularización) no ocultó realmente las huellas. Los cambios conductuales seguían siendo visibles.
Reescribir la Respuesta: Si el chef toma su respuesta final y la reescribe con palabras diferentes (parafraseando) después de generarla, sí hace que sea más difícil de detectar. Es como si el chef escribiera la receta con una letra diferente. Sin embargo, esto solo oculta el texto; si alguien todavía puede ver los "pensamientos" internos del chef (logits), el secreto sigue al descubierto.

La Conclusión

Este artículo muestra que incluso cuando los modelos de IA no memorizan respuestas, todavía dejan cicatrices conductuales en los datos en los que fueron entrenados. Si tienes un prompt secreto (como un problema matemático privado), y un modelo de IA mejora significativamente en él o cambia cómo piensa sobre él, un auditor inteligente probablemente pueda probar que el modelo se entrenó con tus datos secretos.

DIBA es la nueva herramienta que encuentra estas cicatrices comparando el comportamiento "antes" y "después" del modelo, en lugar de simplemente verificar texto memorizado.

Resumen Técnico: Auditoría de la Pertenencia de Datos en el Aprendizaje por Refuerzo con Recompensas Verificables

1. Definición del Problema y Motivación

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha surgido como una etapa de entrenamiento crítica para los modelos de lenguaje grandes (LLM), particularmente para potenciar las capacidades de razonamiento en modelos como DeepSeek-R1 y Kimi-k2.5. A diferencia del Ajuste Fino Supervisado (SFT) tradicional o del alineamiento basado en preferencias (RLHF), el RLVR genera respuestas candidatas desde el propio modelo y refuerza aquellas que satisfacen verificadores basados en reglas (por ejemplo, respuestas matemáticas correctas o ejecución de código).

Este paradigma crea un desafío único para la auditoría de exposición de datos. Los Ataques de Inferencia de Pertenencia (MIAs) existentes suelen depender de detectar el sobreajuste de un modelo a una cadena objetivo fija (por ejemplo, una respuesta específica en SFT o una respuesta preferida en RLHF). Sin embargo, el RLVR no optimiza hacia una respuesta predeterminada; en su lugar, optimiza la política para maximizar la probabilidad de generar cualquier respuesta que pase un verificador. En consecuencia, los MIAs estándar basados en verosimilitud fallan porque no existe una cadena objetivo fija contra la cual puntuar.

El artículo aborda la necesidad de audiar si se utilizaron prompts específicos (a menudo conjuntos de pruebas propietarios o pipelines privados) en el post-entrenamiento RLVR, incluso en ausencia de respuestas objetivo fijas.

2. Metodología: Auditoría de la Divergencia en el Comportamiento (DIBA)

Los autores proponen DIBA (Auditoría de la Divergencia en el Comportamiento), un marco de auditoría de caja blanca a nivel de consulta. DIBA opera comparando el modelo liberado ajustado con RLVR ( $\pi_{ft}$ ) contra su punto de control de referencia pre-RLVR ( $\pi_{ref}$ ).

Idea Central

Los autores observan que, aunque el RLVR no ajusta una cadena fija, deja huellas conductuales observables a lo largo de dos dimensiones:

Evidencia del Lado de la Recompensa: El RLVR cambia la frecuencia con la que el modelo logra un éxito verificable ante un prompt.
Evidencia del Lado de la Política: El RLVR induce una deriva conductual en la distribución de probabilidad de las trayectorias generadas en relación con la política de referencia.

El Marco DIBA

DIBA agrega señales de múltiples rodadas estocásticas ( $N$ muestras) para una consulta $q$ dada para producir una señal de auditoría estable. Construye características a lo largo de dos ejes:

Señal del Lado de la Recompensa (Ventaja):
- Calcula la recompensa esperada para el modelo ajustado ( $FT_{score}$ ) y el modelo base ( $Base_{score}$ ) utilizando un verificador basado en reglas $R$ .
- $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$ .
- Esto captura si el RLVR mejoró la capacidad del modelo para resolver la tarea.
Señal del Lado de la Política (Divergencia):
- Divergencia K3: Mide la divergencia a nivel de token entre $\pi_{ft}$ y $\pi_{ref}$ en las propias rodadas del modelo ajustado utilizando un estimador de divergencia KL no sesgado.
- Desplazamiento de Confianza: Calcula la relación de verosimilitud logarítmica ( $\log \pi_{ft} - \log \pi_{ref}$ ) y una variante normalizada con Zlib para capturar desplazamientos en la confianza y redundancia del modelo.
- Crucialmente, el modelo de referencia actúa como una línea base activa para la comparación contrafáctica, no solo como un calibrador para un objetivo fijo.

Predicción

Estas características se concatenan y se alimentan a un predictor de apilamiento (Bosque Aleatorio + Regresión Logística) para generar una puntuación de pertenencia a nivel de prompt.

3. Contribuciones Clave

Estudio Sistemático de la Auditoría RLVR: El artículo establece que el riesgo de exposición en RLVR está mejor asociado con huellas conductuales condicionadas al prompt en lugar de un ajuste a objetivos fijos.
Propuesta de DIBA: Un marco de auditoría comparativa que estima señales de exposición analizando cambios del lado de la recompensa y divergencia conductual del lado de la política en relación con un modelo de referencia.
Evaluación Exhaustiva: Los autores caracterizan los límites de la auditoría RLVR, identificando cuándo tiene éxito (huellas de aprendizaje activo) y cuándo falla (prompts ya dominados o recompensas saturadas). También extienden el análisis a modelos de visión-idioma (VLM) y diversos escenarios de transferencia.

4. Resultados Experimentales

Rendimiento

Entorno de Caja Blanca: DIBA supera consistentemente a las líneas base transferidas fuertes (incluyendo variantes calibradas y auto-generadas de LOSS, Zlib, Min-K%, etc.).
- AUC: Logra aproximadamente 0.8 en diversos modelos (Qwen-3B/7B) y algoritmos (GRPO, DAPO).
- Régimen de Alta Precisión: Logra un TPR@0.1%FPR que es un orden de magnitud superior al de las líneas base (por ejemplo, 0.154 para DAPO-3B frente a ~0.01 para las líneas base).
Análisis de Características:
- Puntuación FT (Recompensa) proporciona una clasificación general sólida (AUC alto) pero falla en regímenes de baja FPR.
- Divergencia es la característica más efectiva para la detección de alta precisión (baja FPR), destacando la importancia de la deriva de la política.
- La combinación de señales de recompensa y política produce mejoras sinérgicas.

Regímenes de Auditoría y Límites

Prompts Aprendidos Activamente: DIBA es más efectivo aquí, donde el RLVR induce cambios conductuales no triviales.
Prompts Ya Dominados: La detección es más débil. Si el modelo base ya resuelve el prompt perfectamente, el RLVR induce actualizaciones adicionales mínimas, dejando ninguna huella detectable.
Prompts Nunca Aprendidos: La detección también es débil si el modelo falla en aprender la tarea por completo.
Dinámicas de Entrenamiento: La fuerza de la señal de auditoría se correlaciona con el ensanchamiento de la brecha entre las recompensas de entrenamiento y prueba; emerge progresivamente a medida que avanza el entrenamiento.

Transferibilidad y Generalización

Tamaño del Modelo: La transferencia entre tamaños de modelo (3B vs. 7B) dentro del mismo algoritmo RLVR es robusta.
Discrepancia de Algoritmos: La transferencia entre diferentes algoritmos RLVR (por ejemplo, de GRPO a DAPO) es menos estable, particularmente en regímenes de alta precisión.
Entorno de Caja Gris: Con datos sombra cuidadosamente elegidos, DIBA sigue siendo útil (AUC > 0.7) incluso sin una coincidencia exacta de distribuciones.
Multimodal (VLMs): DIBA se extiende a Modelos de Visión-Idioma (AUC ~0.7), aunque la detección de alta precisión (TPR@0.1%FPR) es más difícil debido al ruido de los codificadores visuales.
Transferencia de Tareas: Las señales persisten en conjuntos de datos de seguimiento de instrucciones y uso de herramientas.

Mitigaciones

Regularización: Aumentar la regularización KL ( $\beta$ ) ofrece protección limitada; a menudo conduce a un subajuste en lugar de una preservación genuina de la privacidad.
Ofuscación Post-hoc: Parafrasear las salidas puede reducir la auditabilidad a nivel de texto (disminuyendo AUC/TPR), pero no elimina la exposición si el auditor tiene acceso a los pesos o logits del modelo.

5. Significado y Afirmaciones

El artículo posiciona a DIBA como un auditor práctico para entornos de cumplimiento de RLVR de caja blanca. Su significado principal radica en cambiar el paradigma de la inferencia de pertenencia de "ajuste a un objetivo fijo" a "detección de divergencia conductual".

Los autores afirman que:

La Exposición es Detectable: El entrenamiento RLVR deja huellas observables y específicas del prompt que pueden ser reveladas mediante auditorías dirigidas, incluso sin cadenas objetivo fijas.
El Contexto Importa: La auditabilidad de la exposición de datos no es uniforme; es más fuerte cuando el entrenamiento induce cambios observables en la recompensa y desplazamientos conductuales, y más débil cuando el modelo base ya posee la capacidad.
Limitaciones: El método es sensible a la configuración (dependiente del algoritmo RL y la familia de modelos) y no puede detectar el uso de prompts que ya fueron resueltos perfectamente por el modelo base (la limitación del "conocimiento preexistente").

El trabajo destaca un riesgo de privacidad crítico en el paradigma emergente de RLVR, sugiriendo que los conjuntos de prompts propietarios utilizados para la mejora del razonamiento son vulnerables a la auditoría de exposición, lo que hace necesarias nuevas estrategias de preservación de la privacidad para el entrenamiento RLVR.