Resumen Técnico: PARSE – Sanitización de Recuperación Consciente de la Procedencia para Agentes LLM de Dominios Profesionales

Declaración del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) empresariales recuperan con frecuencia documentos de fuentes no confiables (p. ej., cargas de clientes, APIs de terceros). Esta ruta de recuperación es vulnerable a la inyección de prompts, donde los adversarios incrustan instrucciones maliciosas dentro del contenido recuperado para secuestrar el comportamiento del agente. Una variante específica y desafiante, la inyección camuflada por dominio, incrusta objetivos maliciosos utilizando vocabulario profesional y lenguaje de autoridad (p. ej., "la gerencia cree", "la Compañía deberá") para imitar contenido legítimo.

El artículo identifica una brecha crítica en las evaluaciones de defensa actuales: las defensas existentes se validan principalmente en benchmarks sintéticos compuestos por escenarios de inyección cortos y atómicos. Estos benchmarks no logran capturar la complejidad de los documentos empresariales reales, que son más largos, densos e intercalan afirmaciones fácticas con marcos de autoridad. Los autores demuestran que las defensas efectivas en datos sintéticos, como el parafraseo, no se generalizan a los documentos profesionales del mundo real. De hecho, el parafraseo no mostró una reducción estadísticamente significativa en la tasa de éxito de ataque en documentos reales, mientras que degradó significativamente la utilidad del contenido recuperado.

Metodología: La Arquitectura PARSE

Los autores presentan PARSE (Sanitización de Recuperación Consciente de la Procedencia), un pipeline de sanitización consciente del dominio y preservador de hechos que opera en el tiempo de inferencia sin requerir entrenamiento del modelo. El sistema depende enteramente de llamadas a la API de LLM y consta de seis componentes:

1. Clasificador de Dominio: Identifica el dominio del documento (financiero, legal, médico, científico o DevOps) para activar listas de permitidos (allowlists) de vocabulario de autoridad específicos del dominio.
2. Puerta de Directividad (Innovación Clave): Califica el documento (0–1) basándose en la presencia de afirmaciones de autoridad, recomendaciones o instrucciones.
   • Enrutamiento: Los documentos con una puntuación inferior a 0.5 (59% de los documentos empresariales reales) se dirigen a una ruta de parafraseo simple ligera.
   • Manejo de Alto Riesgo: Los documentos con una puntuación de 0.5 o superior pasan por el pipeline completo de PARSE, concentrando el costo computacional en el contenido de alto riesgo.
3. Etiquetador-Extractor Combinado: Una única llamada de LLM realiza simultáneamente lo siguiente:
   • Etiqueta las oraciones como fácticas, directivas o híbridas.
   • Califica la probabilidad de inyección (0–1) utilizando listas de permitidos específicas del dominio para evitar falsos positivos en el lenguaje de autoridad legítimo (p. ej., el "deberá" legal o el "el tratamiento resultó en" médico).
   • Extrae una lista estructurada de hechos de las oraciones fácticas.
4. Parafraseador Consciente de la Estructura: Reescribe el documento basándose en las puntuaciones de inyección. Las oraciones con puntuaciones altas reciben una neutralización agresiva, mientras que las de bajo riesgo se preservan. Crucialmente, este paso opera bajo una restricción estricta: todos los hechos extraídos en el Paso 3 deben aparecer en la salida.
5. Verificador de Consistencia: Verifica que cada hecho extraído esté presente en la salida parafraseada. Si falta un hecho, el sistema activa un único reintento con restricciones explícitas para recuperar la información faltante. Este mecanismo de bucle cerrado distingue a PARSE del parafraseo de bucle abierto.
6. Constructor de Salida: Devuelve el documento sanitizado junto con un rastro de procedencia (puntuaciones por oración, etiquetas, hechos extraídos y cobertura) para auditoría.

Configuración Experimental

Los autores construyeron un Benchmark de Documentos Reales que comprende 122 tareas a través de cinco dominios profesionales:

• Financiero: Secciones MD&A de formularios 10-K de SEC EDGAR.
• Legal: Reglas finales del Registro Federal.
• Médico: Resúmenes de RCT de PubMed.
• Científico: Resúmenes de arXiv cs.AI/LG/CL.
• DevOps: Post-mortems de GitHub.

Cada tarea empareja un documento real con una carga útil camuflada por dominio que apunta a un objetivo malicioso específico. El estudio evaluó ocho condiciones: línea base (sin defensa), spotlighting, sandwiching, parafraseo, Llama Guard, PARSE completo y dos variantes de ablación (parse_fast y parse_domain_conditional).

Resultados Clave

La evaluación midió la Tasa de Éxito de Ataque (ASR) y la Utilidad (completitud exitosa de la tarea legítima).

• Rendimiento de PARSE: PARSE logró la ASR más baja (15.6%) entre todas las condiciones, manteniendo una alta utilidad (86.9%). Esto representa una reducción del 38% en la ASR en comparación con la línea base (25.4%). El resultado es estadísticamente significativo ($p=0.014$) con una potencia adecuada ($n=122 > n_{min}=103$) y un tamaño de efecto de Cohen's $h$ de $-0.245$.
• Fracaso del Parafraseo: El parafraseo, la defensa más fuerte en benchmarks sintéticos, no mostró una mejora estadísticamente significativa en documentos reales ($p=0.500$, $h=-0.019$). Redujo la ASR en solo 0.8 puntos porcentuales (a 24.6%) mientras degradaba la utilidad en 9 puntos porcentuales (a 82.8%).
• Compromiso de Llama Guard: Aunque Llama Guard logró una ASR baja (18.9%), sufrió un costo de utilidad inaceptable (64.8%), lo que lo hace inadecuado para sistemas de recuperación en producción donde preservar la completitud de la tarea legítima es crítico.
• Eficacia de la Puerta de Directividad: La puerta dirigió con éxito el 59% de los documentos a la ruta ligera, reduciendo la sobrecarga computacional. Los documentos legales y médicos mostraron las puntuaciones de directividad más altas, alineándose con su naturaleza prescriptiva.
• Perspectivas de Ablación:
  • parse_fast (colapsar el pipeline en una sola llamada) resultó en una ASR peor (32.8%) que la línea base, confirmando la necesidad del análisis estructurado de múltiples pasos y las restricciones de extracción de hechos.
  • parse_domain_conditional (enrutamiento basado en el dominio en lugar de la directividad) funcionó peor (22.1% ASR) que el PARSE completo, resaltando que el riesgo es una propiedad de los documentos individuales, no solo de los dominios.

Significancia y Reivindicaciones

El artículo afirma que PARSE es la única defensa evaluada que logra tanto una reducción estadísticamente significativa en la tasa de éxito de ataque como una utilidad cercana a la línea base en documentos empresariales reales.

Los autores enfatizan tres contribuciones primarias:

1. Benchmark de Documentos Reales: Proporcionar un marco de evaluación riguroso utilizando documentos profesionales reales (SEC filings, Federal Register, etc.) en lugar de proxies sintéticos.
2. Fallo de Generalización: Demostrar que los resultados de los benchmarks sintéticos (específicamente la eficacia del parafraseo) no se generalizan a contextos empresariales del mundo real, sirviendo como una advertencia contra la dependencia de los rankings de benchmarks actuales para las decisiones de despliegue.
3. Innovación Arquitectónica: Introducir un pipeline consciente del dominio y preservador de hechos con una puerta de directividad que equilibra seguridad y utilidad sin requerir el reentrenamiento del modelo.

El artículo concluye que los profesionales deben evaluar las defensas en documentos reales que coincidan con el dominio y recomienda desplegar PARSE durante la ingesta de documentos para amortizar los costos, señalando un costo aproximado de $0.01 por documento con los precios actuales de las API.