Vectors Are Not Neutral: Sensitive-Information Inference from Exported LLM Representations in Summarization

Resumen Técnico: Los Vectores No Son Neutrales

Enunciado del Problema
Los sistemas de resumen de Modelos de Lenguaje Grande (LLM) suelen exportar representaciones vectoriales compactas de entradas privadas a flujos de trabajo posteriores para recuperación, monitoreo, auditoría o análisis. Aunque los documentos fuente puedan permanecer bajo restricciones de acceso, estos vectores derivados se manejan frecuentemente bajo controles de acceso diferentes. El artículo postula que incluso cuando los textos crudos están protegidos, estos vectores exportados pueden seguir apoyando la inferencia de información sensible sobre los individuos descritos, creando un riesgo residual de divulgación de información. Este problema se enmarca no meramente como un vector de ataque malicioso, sino como una preocupación de gobernanza y política: los componentes posteriores (por ejemplo, analistas, auditores, proveedores de servicios) pueden tener acceso a vectores sin autorización para inspeccionar el texto original o atributos sensibles estructurados. Si estos vectores se tratan como artefactos derivados que no deben revelar información a nivel de sujeto, la recuperación exitosa de atributos sensibles constituye una falla de privacidad.

Metodología
Los autores instan este problema utilizando la generación de resúmenes de alta hospitalaria (específicamente, la generación del Curso Hospitalario Breve o BHC) como un estudio de caso de alto riesgo. Utilizan la raza registrada en la Historia Clínica Electrónica (EHR) como una etiqueta sensible controlada para la auditoría.

1. Artefactos Auditados: El estudio se centra en dos artefactos específicos derivados de la promesa calculados antes de la generación:
   • lasttok: El estado oculto del último token de la promesa inmediatamente antes de la decodificación.
   • meanpool: La media de todos los estados ocultos de los tokens de la promesa que no son de relleno, similar a las incrustaciones utilizadas para la recuperación o el indexado semántico.
2. Protocolo de Evaluación: Los autores emplean sondeo post-hoc en vectores exportados congelados. Entrenan sondas lineales (regresión logística multinomial) y no lineales (MLP de dos capas) para predecir la etiqueta de raza de cinco vías registrada en la EHR a partir de los vectores exportados. El rendimiento se mide mediante la precisión de la sonda y la LeakageGap (la desviación absoluta de la línea base de azar de 0.20 en un escenario equilibrado de cinco vías).
3. Estrategia de Mitigación (SURFACELORA): El artículo introduce SURFACELORA, un método de ajuste fino eficiente en parámetros (PEFT) dirigido a vectores exportados específicos.
   • Mecanismo: Combina un objetivo de utilidad estándar (resumen mediante LoRA) con un objetivo adversario. Un discriminador ligero se adjunta a un vector exportado designado (por ejemplo, lasttok) durante el entrenamiento.
   • Reversión de Gradientes: Se utiliza una Capa de Reversión de Gradientes (GRL) para invertir los gradientes que fluyen desde el discriminador de vuelta a los adaptadores LoRA. Esto fomenta que el modelo preserve la utilidad del resumen mientras hace que el vector objetivo específico sea menos predictivo del atributo sensible.
   • Especificidad del Artefacto: El método está diseñado para mitigar la fuga en el exacto vector destinado a la exportación. El discriminador durante el entrenamiento apunta a una representación específica (por ejemplo, lasttok), y los autores argumentan que la mitigación debe alinearse con el artefacto específico retenido en la implementación.
4. Selección de Puntos de Control: Los autores observan un compromiso no monótono entre la utilidad y la fuga durante el entrenamiento. Por lo tanto, proponen un procedimiento de implementación donde los puntos de control se seleccionan en función de un conjunto de validación retenido (bal_val) utilizando un presupuesto de fuga preespecificado (por ejemplo, LeakageGap $\le$ 0.025) y maximizando ROUGE-L, en lugar de simplemente utilizar el paso final de entrenamiento.

Resultados Clave

• Fuga Específica del Artefacto: Reducir la recuperabilidad de información sensible de un artefacto exportado (por ejemplo, lasttok) no garantiza una reducida recuperabilidad de otro (por ejemplo, meanpool). En sus experimentos, SURFACELORA redujo con éxito la recuperabilidad de la raza del artefacto lasttok objetivo a niveles cercanos al azar (precisión aprox. 0.203) mientras preservaba la utilidad del resumen. Sin embargo, el artefacto meanpool no objetivo permaneció sustancialmente predictivo (precisión aprox. 0.316–0.323), demostrando que la mitigación no es transferible entre diferentes representaciones vectoriales.
• Insuficiencia de la Prompting y la Eliminación Post-hoc: Se encontró que la ingeniería de prompts (añadir directivas de neutralidad) y las transformaciones lineales post-hoc (por ejemplo, eliminación mediante PCA, INLP) fueron insuficientes. La prompting falló en eliminar señales recuperables e introdujo contaminación por meta-términos. Las transformaciones post-hoc redujeron la recuperabilidad lineal pero fallaron en eliminar la fuga no lineal.
• Fragilidad del Compromiso: La relación entre la fuerza adversaria ($\lambda$) y la fuga es no monótona. Continuar el entrenamiento más allá del punto de control óptimo puede causar un "rebote", donde la fuga aumenta a pesar de la presión adversaria continua. Esto hace necesaria la selección de puntos de control basada en validación.
• Salida vs. Representación: Aunque SURFACELORA redujo la fuga a nivel de representación, no hizo que el texto generado fuera invariante a los atributos sensibles. Los atacantes basados en la salida aún podían inferir la raza de los resúmenes generados a tasas superiores al azar, aunque ligeramente inferiores a las de las líneas base.

Significado y Afirmaciones
El artículo afirma tres contribuciones principales:

1. Enmarcado: Enmarca los vectores de resumen exportados como objetivos de auditoría concretos y específicos de artefactos para la inferencia de información sensible, distintos del texto crudo o del modelo en su conjunto.
2. Divergencia de Artefactos: Demuestra que una recuperación cercana al azar de un vector exportado puede coexistir con una recuperación sustancial de otro, desafiando la suposición de que la sanitización de una representación de token canónica implica una seguridad más amplia.
3. Mitigación Dirigida: Introduce SURFACELORA, un método PEFT dirigido a artefactos que reduce efectivamente la recuperabilidad en un vector específico (por ejemplo, lasttok) mientras preserva la utilidad.

Los autores concluyen que la auditoría de privacidad y la mitigación para sistemas de resumen deben ser específicas del artefacto. Una afirmación de mitigación solo es significativa si identifica tanto la información sensible que se audita como el exacto artefacto vectorial retenido, registrado o expuesto. Si un sistema exporta incrustaciones agrupadas (por ejemplo, para recuperación), la auditoría y la mitigación deben apuntar a esa representación específica, ya que sanitizar solo el estado del último token es insuficiente. El artículo enfatiza que esto es una receta orientada a la implementación: auditar el vector específico utilizado en el pipeline y aplicar la mitigación alineada con ese vector.

Limitaciones
Los autores reconocen que su estudio se limita a un entorno empírico específico (resumen de BHC con raza registrada en EHR) y no establece generalidad a través de todos los atributos sensibles, dominios o arquitecturas de modelos. Señalan que la mitigación de múltiples atributos (proteger simultáneamente raza, edad, género, etc.) sigue siendo un problema abierto. Además, aclaran que la raza registrada en la EHR se trata como una categoría administrativa, no como un atributo biológico, y los hallazgos conciernen la recuperabilidad de categorías registradas y sus proxies textuales.