Resumen Técnico: MosaicLeaks: Riesgos de Privacidad en la Consulta de Información Abierta para Agentes de Investigación Profunda

Definición del Problema

Los agentes de investigación profunda se despliegan cada vez más para sintetizar información de documentos privados de empresas y herramientas externas (por ejemplo, búsqueda web, APIs de la nube). Si bien esta capacidad mejora el rendimiento de las tareas, introduce un riesgo crítico de privacidad: los agentes pueden filtrar información interna sensible a través de sus llamadas a herramientas externas. Este riesgo se ve exacerbado por el efecto mosaico, un fenómeno donde las consultas individuales parecen inocuas de forma aislada, pero revelan atributos sensibles cuando son agregadas por un adversario a lo largo del tiempo.

Los benchmarks y estrategias de mitigación existentes fallan mayoritariamente al no abordar este contexto específico. El trabajo previo se centra en atributos personales o tareas de un solo salto, mientras que los benchmarks de investigación profunda suelen tratar las fuentes de información locales y externas como paralelas en lugar de interdependientes. En consecuencia, los agentes no están entrenados para reconocer que las consultas externas que dependen del contexto local pueden reconstruir datos privados.

Metodología

1. El Benchmark MosaicLeaks

Los autores introducen MosaicLeaks, un benchmark compuesto por 1.001 tareas de investigación profunda de múltiples saltos diseñadas para forzar la filtración de privacidad.

• Construcción de Datos: El conjunto de datos entrelaza documentos empresariales locales (obtenidos de DRBench) con contenido web público (obtenido de BrowseComp-Plus). Las tareas están estructuradas como cadenas de múltiples saltos donde la respuesta a una subpregunta local sirve como una entidad crítica para la subsecuente consulta web (por ejemplo, Local $\to$ Web $\to$ Local).
• Configuración Adversaria: Un modelo adversario (StepFun-3.5-Flash) observa únicamente la secuencia acumulativa de consultas web generadas por el agente. No ve los documentos locales ni el razonamiento interno del agente.
• Métricas de Filtración: La filtración de privacidad se evalúa a través de tres niveles de severidad crecientes:
  1. Filtración de Intención: ¿Puede el adversario predecir las preguntas de investigación específicas que el agente está persiguiendo?
  2. Filtración de Respuesta: ¿Puede el adversario responder preguntas privadas específicas sobre los documentos de la empresa dados la secuencia de consultas?
  3. Filtración de Información Completa: ¿Puede el adversario generar afirmaciones fácticas verdaderas y verificables sobre los documentos de la empresa sin haber sido instado con preguntas específicas?

2. Evaluación de Línea Base

Los autores evaluaron seis modelos de código abierto (incluyendo Qwen3, StepFun, GPT-OSS y Gemma) en MosaicLeaks.

• Hallazgos: Los modelos filtraron información frecuentemente en todos los tres niveles.
• Limitaciones del Prompting: El prompting zero-shot ingenuo (instruir a los agentes para evitar la filtración) redujo la filtración ligeramente, pero no logró eliminarla. En algunos casos, simplemente redujo el número de consultas en lugar de mejorar la privacidad del texto de la consulta.
• Compromiso entre Rendimiento y Privacidad: Entrenar agentes únicamente para el rendimiento de la tarea utilizando Aprendizaje por Refuerzo (RL) mejoró la precisión pero empeoró significativamente la filtración de privacidad, ya que los agentes aprendieron a incluir detalles más específicos (y por tanto más filtrables) en sus consultas para asegurar el éxito de la recuperación.

3. Solución Propuesta: Investigación Profunda Consciente de la Privacidad (PA-DR)

Para abordar el compromiso entre filtración y rendimiento, los autores proponen PA-DR, un marco de Aprendizaje por Refuerzo que optimiza tanto el éxito de la tarea como la preservación de la privacidad.

• Recompensas Situacionales: A diferencia del RL estándar basado en resultados que proporciona una única recompensa al final de una trayectoria, PA-DR utiliza recompensas situacionales para proporcionar una asignación de crédito densa. Las recompensas se calculan por salto y por etapa (Planificación, Elección) basándose en si el agente recuperó la fuente de documento correcta o seleccionó el documento objetivo.
• Penalización de Privacidad: Un clasificador binario ligero (entrenado con 26.734 ejemplos etiquetados) estima la probabilidad de filtración dada una tanda de consultas web. La función de recompensa incorpora una penalización derivada de este clasificador:
  • Filtración Directa: Penaliza la tanda actual de consultas si estas filtran información por sí mismas.
  • Filtración de Mosaico: Penaliza la tanda actual basándose en cuánto contribuye a la filtración acumulativa de toda la trayectoria.
  • La recompensa de privacidad final se define como $r_{privacy} = -\max(c_{direct}, c_{mosaic})$, donde los costos se derivan de la probabilidad de filtración predicha por el clasificador.
• Entrenamiento: El marco entrena el modelo Qwen3-4B-Instruct utilizando PipelineRL, optimizando conjuntamente las recompensas situacionales de la tarea y la penalización de privacidad.

Resultados Clave

• Ganancias de Rendimiento: El entrenamiento con PA-DR mejoró la tasa de éxito de cadena estricta de Qwen3-4B-Instruct del 48.7% (línea base) al 58.7%.
• Reducción de Privacidad: El mismo entrenamiento redujo la Filtración de Respuesta y de Información Completa del 34.0% al 9.9%.
• Optimización Combinada: Al combinarse con un prompt consciente de la privacidad, el modelo PA-DR alcanzó un 59.3% de precisión de cadena con solo un 7.6% de filtración.
• Análisis de Comportamiento: A diferencia del prompting, que reducía la filtración simplemente realizando menos consultas, el PA-DR entrenó a los modelos para realizar más consultas pero con un texto semánticamente menos revelador. Los modelos aprendieron a recuperar los documentos necesarios mientras omitían métricas específicas (por ejemplo, "15%") o tipos de respuesta en el texto de la consulta, rompiendo el vínculo semántico que un adversario necesita para reconstruir hechos privados.
• Comparación: PA-DR empuja la frontera de Pareto, logrando una mayor precisión y una menor filtración simultáneamente en comparación con los modelos entrenados solo para el rendimiento de la tarea o aquellos que utilizan el RL estándar basado en resultados.

Significado y Contribuciones

El artículo realiza tres contribuciones principales:

1. Benchmark MosaicLeaks: Un nuevo marco de evaluación que prueba explícitamente a los agentes de investigación profunda en preguntas de múltiples saltos con fuertes dependencias de información local-externa, capturando el efecto mosaico en entornos empresariales.
2. Análisis Empírico: Una demostración de que los agentes de investigación profunda estándar filtran frecuentemente datos empresariales y que optimizar únicamente el rendimiento de la tarea exacerba este riesgo. También muestra que las intervenciones basadas en prompting son insuficientes para esta tarea.
3. Marco PA-DR: Una formulación fundamentada de la formación de agentes consciente de la privacidad como un objetivo conjunto. Al utilizar un clasificador de privacidad aprendido para proporcionar una asignación de crédito densa sobre la filtración por consulta y a nivel de mosaico, los autores demuestran que es posible entrenar agentes que sean altamente precisos y preserven la privacidad simultáneamente.

Los autores concluyen que, si bien los agentes actuales son propensos a la filtración de mosaico, el entrenamiento mediante RL con recompensas situacionales de privacidad ofrece un camino viable hacia el despliegue de agentes de investigación profunda en entornos empresariales sensibles sin comprometer la seguridad de los datos.