SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models

Resumen Técnico: SNEAK

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLMs) se están desplegando cada vez más en entornos multiagente donde la comunicación debe equilibrar dos objetivos contradictorios: ser informativa para un colaborador que comparte el contexto, y secreta para evitar que un adversario infiera detalles sensibles.

• El Desafío: En situaciones de información asimétrica (donde diferentes participantes tienen distintos niveles de conocimiento), un agente debe poder señalar que posee una información específica (un "secreto") sin revelar el secreto en sí mismo.
• La Brecha Actual: Las evaluaciones existentes de LLMs se centran en razonamiento, conocimiento factual o seguimiento de instrucciones, pero no miden la capacidad de los modelos para realizar comunicación estratégica bajo información asimétrica. No existe una métrica estándar para evaluar cuánto revela un modelo a un observador no autorizado mientras mantiene la utilidad para un aliado.

2. Metodología: El Benchmark SNEAK

Los autores introducen SNEAK (Secret-aware Natural language Evaluation for Adversarial Knowledge), un benchmark diseñado para evaluar el intercambio selectivo de información.

• Inspiración: El juego de fiesta "The Chameleon".

• Configuración de la Tarea:

  • Se define una categoría semántica, un conjunto de palabras candidatas ($W$) y una palabra secreta ($w_s$).
  • Un modelo generador ($f_\theta$) recibe $(c, W, w_s)$ y debe producir un mensaje breve ($m$).
  • El objetivo es que el mensaje indique al "aliado" (que conoce el secreto) que el generador lo conoce, pero que sea ambiguo para el "camaleón" (adversario que no conoce el secreto).

• Agentes de Evaluación Simulados:

  1. El Aliado (Colaborador): Conoce el secreto. Debe identificar qué mensaje corresponde al secreto entre un conjunto de mensajes (el real y varios "decoy" o señuelos).
  2. El Camaleón (Adversario): No conoce el secreto. Debe inferir cuál es la palabra secreta basándose únicamente en el mensaje y el conjunto de candidatos.

• Métricas Clave:

  • Utilidad (Utility): Mide qué tan bien el aliado identifica el mensaje correcto. Se normaliza respecto a una adivinanza aleatoria.
  • Fuga de Información (Leakage): Mide la probabilidad de que el adversario infiera correctamente el secreto.
  • Puntuación Compuesta (SoftScore): Define el equilibrio óptimo mediante la fórmula:
    $$\text{SoftScore} = \text{Utilidad} \times (1 - \text{Fuga})$$
    Esta métrica penaliza fuertemente los mensajes que son útiles pero revelan demasiado, o viceversa. También se reporta un BinaryScore (éxito/fallo binario).

• Conjunto de Datos:

  • Derivado de normas de producción de categorías semánticas (117 categorías, 1,394 instancias).
  • Incluye 5 mensajes señuelo generados automáticamente para la tarea del aliado.

3. Contribuciones Principales

1. SNEAK: Un nuevo benchmark para evaluar la comunicación selectiva en LLMs, cubriendo dominios semánticos diversos.
2. Marco de Evaluación Conductual: Descompone la comunicación en utilidad y fuga, permitiendo una evaluación objetiva y reproducible basada en agentes simulados en lugar de juicios subjetivos.
3. Análisis de la Compensación (Trade-off): Demuestra empíricamente que los LLMs actuales luchan por equilibrar estos objetivos, mostrando una fuerte correlación positiva entre alta utilidad y alta fuga de información.

4. Resultados Experimentales

Los autores evaluaron una variedad de modelos (GPT, Claude, Gemini, DeepSeek, Llama, etc.) y compararon sus resultados con baselines y participantes humanos.

• Rendimiento de los Modelos vs. Humanos:
  • Los LLMs modernos logran una alta utilidad (a menudo cercana al techo), pero sufren de una fuga de información muy alta.
  • Los participantes humanos superan a todos los modelos evaluados por un margen significativo, alcanzando puntuaciones hasta 4 veces superiores en el SoftScore. Los humanos logran ser muy útiles para el aliado manteniendo una fuga baja.
• La Compensación Utilidad-Fuga:
  • Existe una clara compensación: los mensajes que son muy útiles para el aliado tienden a ser obvios para el adversario.
  • Los modelos tienden a ocupar la región de "alta utilidad, alta fuga" (esquina superior derecha), mientras que los humanos logran la región deseable de "alta utilidad, baja fuga" (esquina superior izquierda).
• Efecto de las Técnicas de Inferencia:
  • Se probaron métodos como Chain-of-Thought (CoT), Self-Enhanced Test-Time Scaling (SETS) y Recursive Message Refinement (RMR).
  • Aunque algunas técnicas mejoraron ligeramente la utilidad, ninguna logró romper la compensación fundamental ni acercarse al rendimiento humano en términos de control de fuga.
• Análisis Semántico:
  • Las categorías abstractas permiten mejores estrategias de comunicación que las concretas.
  • Las estrategias que utilizan asociaciones contextuales o temporales (ej. "Día de Acción de Gracias" para "Pavo") funcionan mejor que las relaciones taxonómicas directas, ya que estas últimas son más fáciles de inferir para el adversario.

5. Significado e Implicaciones

• Limitación Fundamental: El estudio revela que la comunicación estratégica bajo información asimétrica es una capacidad subdesarrollada en los sistemas actuales de IA. Los modelos tienden a ser demasiado directos o no comprenden la necesidad de la ambigüedad controlada.
• Aplicaciones Reales: Esta capacidad es crucial para escenarios como:
  • Pedagogía: Dar pistas a estudiantes sin revelar la respuesta.
  • Consultoría y Negocios: Compartir experiencia sin revelar estrategias internas.
  • Privacidad: Comunicar información necesaria minimizando la exposición de datos sensibles.
• Hacia Futuras Investigaciones: SNEAK establece una base para evaluar y mejorar la capacidad de los agentes de IA para gestionar el flujo de información entre múltiples partes, un paso necesario para sistemas multiagente más seguros y efectivos.

En conclusión, SNEAK demuestra que, aunque los LLMs son excelentes generadores de información, aún carecen de la "teoría de la mente" pragmática necesaria para comunicar de manera estratégica, equilibrando la utilidad para el aliado con la protección contra el adversario, una habilidad donde los humanos siguen siendo superiores.