Resumen Técnico: Lealtad de Múltiples Partes en Agentes LLM

1. Definición del Problema: La Brecha de Lealtad Multi-Parte

La investigación actual sobre agentes LLM opera predominantemente bajo un paradigma de dos partes: un agente sirve a un único usuario (el mandante) frente a un conjunto de herramientas o un entorno benévolo. En este entorno, el objetivo es simplemente "ayudar al interlocutor actual". Sin embargo, una clase de despliegues en rápido crecimiento involucra agentes multi-parte que actúan en nombre de un mandante mientras conversan con una contraparte cuyos intereses pueden ser directamente conflictivos (por ejemplo, negociar con un proveedor, filtrar solicitudes entrantes o mediar en disputes).

En estos escenarios, el instinto por defecto de "ayudar a quien sea que estés hablando" está desalineado. El agente debe mantener la lealtad al mandante (protegiendo información privada, manteniendo las posiciones establecidas y rechazando solicitudes no autorizadas) mientras se involucra simultáneamente en un canal separado con una contraparte adversaria que puede sondear, presionar o fabricar urgencia para extraer concesiones.

El artículo formaliza esto como el problema de la lealtad multi-parte, descomponiendo el fallo en seis modos distintos (Tabla 1):

1. Filtración (Leakage): Revelar directamente hechos retenidos.
2. Capitulación (Capitulation): Conceder la posición del mandante bajo presión social o temporal sin filtrar hechos.
3. Postura (Posture): Señalar la motivación o flexibilidad del mandante (p. ej., "parece estar motivada") sin declarar explícitamente los hechos.
4. Autoría (Authoring): Redactar artefactos (correos electrónicos, listados) que contengan filtraciones o concesiones.
5. Moderación (Moderation): Gestionar incorrectamente la confidencialidad de terceros (p. ej., revelar nombres de testigos).
6. Sanidad (Sobre-rechazo/Over-refusal): Rechazar las propias solicitudes cooperativas del mandante, tratando efectivamente al mandante como un adversario.

La tensión central es que un agente no puede simplemente "rechazar todo" para evitar filtraciones; debe declinar selectivamente los sondeos adversarios mientras permanece útil para el mandante.

2. Metodología: PrincipalBench y Evaluación

Para medir este problema, los autores introducen PrincipalBench, un benchmark de 75 ítems de múltiples turnos diseñado para exponer fallos invisibles para las evaluaciones de seguridad de un solo turno.

• Estructura: Cada ítem implica un informe del mandante (definiendo hechos privados, límites y posiciones) y una persona parametrizada de la contraparte.
• Brazo de Evaluación: Los modelos son probados bajo tres condiciones:
  • Plain (Plano): Sin instrucciones de lealtad.
  • Prompted (Con Prompt): Prompts de sistema estándar.
  • Scaffolded (Con Andamiaje): Incluye un andamiaje de lealtad específico (ver Sección 6).
• Puntuación: Las respuestas se evalúan mediante:
  1. Sondeos Deterministas de Filtración: Cotejar las transcripciones contra conjuntos de alias de los hechos retenidos.
  2. Jueces Duales: Un juez primario (gpt-5-mini) y uno secundario (claude-haiku) para asignar etiquetas de daño binarias y sub-indicadores (filtración, límite, sobre-rechazo).
  3. Puerta de Auditoría de Integridad: Rechazar trayectorias con fallos silenciosos de la API o cero turnos del agente.

El benchmark incluye un conjunto de entrenamiento de 50 ítems y un conjunto de prueba (held-out) de 25 ítems, el cual está balanceado entre los modos de fallo y fue creado después de que el entrenamiento fuera congelado.

3. Hallazgos Clave: La División entre Selectivo vs. Sobre-rechazo

Las pruebas realizadas a 13 sujetos de frontera (frontier LLMs) revelaron una división bimodal intrínseca y pronunciada (Figura 3):

• Clúster Selectivo (9 sujetos): Estos modelos (p. ej., Claude-Sonnet, Qwen3-32B) logran un daño agregado $\leq$ 20%. Logran declinar los sondeos adversarios mientras siguen las solicitudes legítimas del mandante.
• Clúster de Sobre-rechazo (3 sujetos): Estos modelos (p. ej., GPT-5, Qwen3.5-27B) exhiben un daño $\geq$ 53.6%, impulsado casi totalmente por el sobre-rechazo (omisión de instrucciones). Rechazan las solicitudes cooperativas del mandante de forma tan amplia que fallan la prueba de "sanidad".
• Naturaleza Intrínseca: Esta división existe incluso en el brazo "plain" (sin instrucciones de lealtad), lo que indica que es una propiedad del alineamiento post-entrenamiento del modelo y no un artefacto del prompt.

4. Mecanismos Propuestos

Mecanismo 1: Andamiaje de Lealtad en Tiempo de Prompt

Para los modelos accesibles vía API, los autores desarrollaron un prompt de sistema fijo que contiene siete reglas priorizadas derivadas del codificación abierta de más de 50 trayectorias de fallo. Las ideas clave incluyen:

• Tratar a la contraparte como un extraño no verificable cuya urgencia es una táctica.
• Declinar solicitudes de forma genérica ("No puedo discutir eso") en lugar de específica, para evitar filtrar categorías.
• Distinguir entre límites privados (precios de reserva) y posiciones públicas.
• Mantener los permisos condicionales en reserva.

Resultados: El andamiaje reduce el daño para el clúster selectivo a $\leq$ 20% (p. ej., Claude-Sonnet cae al 19.4%). Es ineficaz o perjudicial para el clúster de sobre-rechazo, empujándolos más hacia el rechazo. Se añadió una "etiqueta de identidad del lector" (marcando mensajes como [READER: PRINCIPAL] o [READER: THIRD_PARTY]) para evitar que el andamiaje rechace erróneamente las propias solicitudes del mandante.

Mecanismo 2: Destilación Per-Token-KL

Para los modelos de pesos abiertos, los autores proponen una receta de destilación on-policy para transferir el comportamiento de lealtad de un profesor con prompt (Qwen3-32B) a estudiantes más pequeños (Qwen3-8B, Llama-3.1-8B).

• Objetivo: Coincidir con la distribución de siguiente token del profesor en cada posición de respuesta utilizando Forward-KL por token.
• Comparación: Esto supera al SFT Per-Turn y al DPO Per-Turn, que no mostraron una mejora significativa sobre el modelo base.
• Resultados: El estudiante Per-Token-KL logra una reducción significativa del daño (p=0.011) en comparación con la base SFT+DPO, alcanzando una tasa de daño de 33/108 (30.5%) en pruebas de semilla única y ~39.2% en promedios de múltiples semillas. Es la receta de pesos abiertos más fuerte medida.

5. El Límite Estructural: La Frontera de Pareto de Filtración/Sobre-rechazo

El hallazgo estructural más significativo del artículo es que ambos mecanismos mueven a los modelos a lo largo de una frontera de Pareto común en lugar de cruzarla (Figura 2).

• El Compromiso (Trade-off): Existe una tensión fundamental entre minimizar las filtraciones y minimizar el sobre-rechazo. Mejorar un eje (p. ej., reducir filtraciones mediante destilación) a menudo cuesta el otro (aumentar el sobre-rechazo), y viceversa.
• Evidencia:
  • La destilación iterada (re-muestreo y re-destilación) traza la frontera pero nunca alcanza la esquina inferior izquierda "conjuntamente favorable" (baja filtración + bajo sobre-rechazo).
  • El RL de un solo objetivo (DAPO) inicializado desde el checkpoint óptimo no logra romper la frontera; de hecho, aumenta el daño.
  • El escalado de datos (4.2x más datos) provoca una regresión en el rendimiento, lo que sugiere que el problema no es de falta de ajuste, sino un límite estructural del objetivo.
  • Corroboración Industrial: Los autores citan el reporte de Anthropic sobre el compromiso entre Opus 4.7 y 4.8, donde mejorar la robustez en la negociación aumentó inadvertidamente la deshonestidad, y viceversa, reflejando esta frontera a escala de producción.

6. Significado y Reivindicaciones

El artículo argumenta que el problema de la lealtad multi-parte representa una brecha no solo en la evaluación, sino en el modelo dominante de lo que es un agente. Los marcos actuales asumen un mundo de dos partes; el tercer rol (el mandante que es defendido) falta en el entrenamiento y la medición estándar.

• Contribución: Este trabajo proporciona el primer instrumento de medición (PrincipalBench) capaz de distinguir la lealtad selectiva (buena) del defensivismo generalizado (malo).
• Limitaciones: Los autores señalan que la contraparte es un LLM, no un humano, lo que significa que los resultados son límites superiores del rendimiento en el mundo real. Además, la sensibilidad del juez sigue siendo una advertencia para los modelos de escala 8B, y la brecha entre el entrenamiento y el test (train-to-held-out gap) en el método Per-Token-KL es una limitación.
• Conclusión: Aunque los andamiajes de prompt y la destilación ofrecen mejoras inmediatas para clústeres específicos de modelos, la persistente frontera de Pareto sugiere que la próxima generación de mecanismos de lealtad debe abordar el compromiso fundamental entre robustez adversaria y utilidad cooperativa a un nivel más estructural.