Resumen Técnico: SELFCI – Auto-distilación Complementaria para la Integridad Contextual en LLMs

Declaración del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) se implementan cada vez más como agentes personales que gestionan flujos de trabajo sensibles, el desafío de la privacidad se desplaza desde el simple ocultamiento de datos hacia la Integridad Contextual (IC). La IC define la privacidad no como el secreto absoluto de la información, sino como la gobernanza de los flujos de información de acuerdo con normas específicas del contexto. Existe una asimetría crítica en este dominio: un asistente debe retener la información necesaria para completar la tarea (utilidad) mientras suprime simultáneamente la información que es irrelevante para la tarea o inapropiada contextualmente (privacidad).

Los métodos de alineación existentes luchan por satisfacer este requisito conjunto:

• El Ajuste Fino Supervisado (SFT) en trayectorias compatibles con la IC es costoso de escalar y sufre de sesgo de exposición cuando las generaciones se desvían de la distribución de entrenamiento.
• El Aprendizaje por Refuerzo Online (RL) (por ejemplo, GRPO) depende de recompensas escasas y escalares que confunden el éxito de la tarea con el cumplimiento de la divulgación. Esta retroalimentación grosera falla en adjudicar decisiones por atributo donde la idoneidad depende de normas de transmisión específicas, lo que a menudo conduce a una compensación donde mejorar la privacidad degrada la utilidad de la tarea.

El problema central es la falta de un mecanismo que pueda desentrañar las presiones de "retener" y "suprimir" sin colapsarlas en un único objetivo ambiguo o depender de una supervisión externa costosa.

Metodología: SELFCI

Los autores proponen SELFCI, un marco de auto-distilación complementaria diseñado para alinear los LLM con los principios de la IC sin sacrificar las capacidades nativas de resolución de tareas. El enfoque se basa en el concepto de invarianza dependiente del contexto: la distribución predictiva del modelo debe ser invariante a la inyección de información no permitida ($D_T$) mientras permanece sensible a la información permitida ($A_T$).

1. Generación de Retroalimentación

En lugar de depender de racionalizaciones de verdad fundamental o modelos fronterizos externos, SELFCI aprovecha el propio modelo para generar retroalimentación en política.

• Se solicita al modelo que utilice plantillas de instrucción específicas ($I_{allow}$ e $I_{disallow}$) para generar racionalizaciones que expliquen por qué ciertos atributos deben o no deben divulgarse, basándose en los principios de transmisión de la IC (Confidencialidad, Proporcionalidad, Consentimiento).
• Estas racionalizaciones auto-generadas sirven como contexto privilegiado, proporcionando una guía densa a nivel de token que se fundamenta en los propios parámetros del modelo.

2. Construcción de Maestros Complementarios

SELFCI instancia dos políticas de maestro distintas a partir de los mismos parámetros del modelo, condicionadas a la retroalimentación agregada:

• $\pi_{allow}$ (Orientado a la utilidad): Un maestro sesgado hacia la completitud de la tarea, guiando a la política a recuperar la información necesaria.
• $\pi_{disallow}$ (Orientado a la privacidad): Un maestro sesgado hacia la divulgación mínima, penalizando la dependencia de información restringida.

3. Optimización Conjunta mediante Producto de Expertos (PoE)

La política estudiante se entrena minimizando conjuntamente dos divergencias KL inversas independientes contra estos maestros:
$$\mathcal{L} = \lambda D_{KL}(\pi_\theta \parallel \pi_{allow}) + (1-\lambda) D_{KL}(\pi_\theta \parallel \pi_{disallow})$$
Matemáticamente, bajo distribuciones de maestro fijas, este objetivo es equivalente a igualar una distribución objetivo de Producto de Expertos (PoE):
$$\pi^* \propto \pi_{allow}^\lambda \cdot \pi_{disallow}^{1-\lambda}$$
Esta formulación multiplicativa concentra la masa de probabilidad en la intersección de los soportes de los dos maestros. En consecuencia, la política aprende a satisfacer simultáneamente la completitud de la tarea y la divulgación mínima, en lugar de tratarlas como objetivos competitivos. El marco evita las trampas de las soluciones monolíticas al modelar explícitamente la estructura asimétrica de retención/supresión.

Contribuciones Clave

1. Desacoplamiento de Privacidad y Utilidad: SELFCI introduce un marco que separa la optimización de la utilidad de la tarea y las restricciones de privacidad en distribuciones de maestro complementarias, evitando las restricciones estructurales del RL de recompensa escalar o el SFT monolítico.
2. Auto-distilación sin Supervisión Externa: El método genera su propio contexto privilegiado (racionalizaciones) y maestros a partir del modelo objetivo, eliminando la necesidad de maestros externos costosos o racionalizaciones creadas manualmente.
3. Formulación Teórica: Los autores demuestran que el objetivo de auto-distilación complementaria sirve como un sustituto de límite superior para el estado ideal de la IC (invarianza a la información no permitida), proporcionando una ruta matemáticamente fundamentada para la alineación.
4. Alineación mediante Producto de Expertos: Al optimizar hacia la intersección de dos maestros especializados, el método logra una política que es tanto completa en la tarea como preservadora de la privacidad, un equilibrio que a menudo se pierde en las líneas base existentes.

Resultados Experimentales

Los autores evaluaron SELFCI en diversos backbones ajustados con instrucciones (por ejemplo, Qwen2.5, Llama-3.1) y de razonamiento (por ejemplo, DeepSeek-R1, Olmo-3) en tanto en dominios como fuera de dominio.

• En Dominio (Benchmark CI-RL): SELFCI superó consistentemente a las líneas base, incluido el RL online (CI-RL/GRPO) y la distilación con maestro externo (ContextDistill). En Qwen2.5-7B-Instruct, SELFCI mejoró la puntuación Complete (satisfaciendo tanto la utilidad como la integridad) del 23,29% al 53,42%, mientras que aumentó significativamente la Integridad (83,56%) sin sacrificar la Utilidad.
• Fuera de Dominio (PrivacyLens): En flujos de trabajo de agentes que implican el uso de herramientas, SELFCI demostró una generalización superior, logrando las tasas de fuga más bajas (LR y ALR) mientras mantenía puntuaciones de utilidad elevadas.
• Robustez (CIMemories): Bajo un contexto privado acumulado donde los atributos pueden ser apropiados en una tarea pero no en otra, SELFCI mantuvo una tasa de violación por debajo del 5%, mientras que las líneas base mostraron fallos de privacidad acumulativos.
• Eficiencia: SELFCI fue más eficiente en muestras que el RL online, alcanzando un alto rendimiento en menos épocas y requiriendo significativamente menos tiempo de GPU por paso (una simulación frente a 16 para GRPO).

Significado y Afirmaciones

El artículo afirma que SELFCI proporciona un camino práctico hacia la alineación de la Integridad Contextual para agentes personales. Su significado radica en demostrar que:

• La privacidad contextual no necesita costar la utilidad nativa; ambas pueden optimizarse conjuntamente mediante auto-distilación complementaria.
• La asimetría de "retener/suprimir" de la IC puede modelarse eficazmente descomponiendo el objetivo en distribuciones de maestro especializadas en lugar de depender de recompensas escalares groseras.
• La retroalimentación auto-generada puede servir como una señal robusta y en política para una supervisión densa, haciendo que la alineación de la privacidad sea escalable sin depender de modelos fronterizos propietarios.

Los autores señalan limitaciones, incluida la dependencia de datos sintéticos estructurados para la generación de retroalimentación, posibles desafíos para modelos más pequeños con capacidades más débiles de aprendizaje en contexto, y el uso de un coeficiente estático $\lambda$ para equilibrar a los maestros. Sin embargo, los resultados sugieren que SELFCI ofrece un enfoque escalable y efectivo para alinear los LLM con normas de privacidad complejas y dependientes del contexto.