🤖 machine learning

DeepInvert: Semi-Supervised Embedding Inversion Against Obfuscated Language Models

Este artículo presenta DeepInvert, un ataque de inversión de incrustaciones semisupervisado que explota la estructura semántica preservada en las representaciones de modelos de lenguaje ofuscadas para recuperar los tokens originales con una precisión significativamente mayor que los métodos anteriores, revelando que las defensas de ofuscación actuales a menudo no logran equilibrar la protección de la privacidad con la utilidad de la tarea.

Autores originales: Zhicong Huang, Cheng Hong, Tao Wei

Publicado 2026-08-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhicong Huang, Cheng Hong, Tao Wei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enviando una carta secreta a un amigo que vive en una biblioteca gigante y de alta tecnología. No quieres que el bibliotecario lea tu carta, así que decides escribirla en un código secreto. Tal vez cambias cada palabra por una palabra sin sentido, o mezclas tus frases con un galimatías aleatorio, o añades una capa de ruido estático a la página. Esta es la idea básica detrás de la "ofuscación" en el mundo de la inteligencia artificial. Hoy en día, muchas personas utilizan servicios de IA basados en la nube para escribir historias, analizar registros médicos o resolver problemas complejos. Pero como no son dueños de las computadoras que ejecutan estos cerebros de IA, tienen que confiar en la empresa con sus datos privados. Para protegerse, los usuarios intentan "codificar" sus mensajes antes de enviarlos, con la esperanza de que la IA aún pueda entender la versión codificada para hacer su trabajo, manteniendo al mismo tiempo el significado original oculto a ojos curiosos.

Durante un tiempo, estos trucos de codificación parecieron un escudo sólido. Los investigadores propusieron diversas formas de mezclar palabras o añadir ruido, creyendo que una vez que el mensaje fuera codificado, sería imposible descodificarlo sin la clave secreta. Era como poner un mensaje en una caja cerrada con llave y tirar la llave, asumiendo que la caja era demasiado fuerte para ser abierta. Pero, ¿y si la caja no fuera tan fuerte como todos pensaban? ¿Qué pasaría si hubiera una forma ingeniosa de mirar dentro, no forzando la cerradura, sino notando los tenues patrones que la codificación dejaba atrás? Esta es la pregunta que un equipo de investigadores se propuso responder, explorando si estos mensajes "codificados" son realmente seguros o si solo están esperando ser descodificados.

Entra en escena DeepInvert, una nueva herramienta de detective digital creada por investigadores de Ant Group. Piensa en DeepInvar como un maestro de los rompecabezas que no necesita la clave original para descubrir qué hay dentro de la caja codificada. En lugar de simplemente adivinar, utiliza una estrategia ingeniosa de dos pasos. Primero, practica con un montón de rompecabezas "sombra": mensajes que conoce sus respuestas, los cuales codifica él mismo para aprender cómo funciona la codificación. Pero aquí está el truque de magia: también observa los mensajes reales y codificados que intenta descifrar, a pesar de que no sabe lo que dicen. Utiliza una técnica llamada "aprendizaje semisupervisado", que es como un estudiante que estudia un libro de texto (los datos sombra) pero también aprende observando los patrones en el mundo real (los datos no etiquetados) para llenar los huecos.

Los investigadores descubrieron que DeepInvert es increíblemente bueno en su trabajo. Cuando lo probaron contra algunas de las defensas de codificación más populares, los resultados fueron sorprendentes. Por ejemplo, contra una defensa de primer nivel llamada ObfusLM, los intentos anteriores solo podían adivinar las palabras originales correctamente aproximadamente el 26.2% de las veces. DeepInvert, sin embargo, logró recuperar las palabras correctas el 73.5% de las veces. En una prueba de preguntas y respuestas médicas utilizando un modelo de IA masivo, la tasa de recuperación saltó al 80.4%, y para un modelo aún más grande, alcanzó el 85.2%. El artículo sugiere que estas defensas de codificación son mucho menos seguras de lo que la gente creía. Los investigadores descubrieron un compromiso frustrante: si la codificación es lo suficientemente débil como para permitir que la IA haga bien su trabajo, DeepInvert puede descodificarla fácilmente. Si la codificación es lo suficientemente fuerte como para detener a DeepInvert, la IA a menudo se confunde tanto que no puede realizar la tarea en absoluto.

El artículo no solo muestra que estas defensas pueden romperse; explica por qué fallan. Los métodos de codificación a menudo dejan atrás un "esqueleto semántico": una estructura oculta de significado que sobrevive al ruido. DeepInvert está diseñado para encontrar ese esqueleto. Utiliza un sistema de "maestro-alumno" donde un modelo "maestro" estable guía a un modelo "alumno", ayudándole a aprender de los datos desordenados y codificados sin confundirse. Los investigadores también demostraron que este ataque funciona incluso cuando el atacante no tiene la misma "receta de codificación" que la víctima, siempre que pueda simular una similar.

Sin embargo, el artículo tiene cuidado de no decir que toda la privacidad ha desaparecido. Señala que para tareas muy simples, como decidir si una frase es feliz o triste, algunas defensas podrían resistir un poco mejor. Pero para tareas complejas que requieren comprender palabras específicas, como diagnósticos médicos o la generación de nuevo texto, los métodos actuales de codificación parecen ofrecer una falsa sensación de seguridad. Los autores concluyen que podríamos necesitar replantearnos cómo protegemos los datos en la nube. En lugar de confiar en estos trucos de codificación ligeros, es posible que debamos buscar soluciones más pesadas y complejas como la criptografía avanzada, que es más difícil de romper pero también mucho más lenta y costosa de usar. Por ahora, DeepInvert sirve como una fuerte llamada de atención: si estás codificando tus datos para ocultarlos de una IA, es posible que quieras revisar bien tu cerradura, porque alguien acaba de encontrar una forma muy efectiva de forzarla.

Resumen Técnico: DeepInvert

Planteamiento del Problema

Los servicios de modelos de lenguaje (LM) basados en la nube procesan frecuentemente prompts que contienen información comercial o personal sensible. Para mitigar los riesgos de privacidad sin la pesada carga computacional de las soluciones criptográficas (por ejemplo, el cifrado homomórfico), investigaciones recientes han propuesto defensas basadas en la ofuscación. Estos métodos transforman las representaciones de los prompts en el lado del cliente antes de su transmisión al servidor utilizando técnicas como la permutación del vocabulario, la sustitución de tokens, el agrupamiento/mezcla y la adición de ruido de privacidad diferencial (DP).

Si bien estas defensas pretenden preservar la utilidad de las tareas posteriores manteniendo ocultos los tokens originales, los autores argumenten que las protecciones existentes son significativamente más débiles de lo que se cree. Ataques previos, como las búsquedas de similitud basadas en KNN o los modelos de inversión totalmente supervisados (por ejemplo, InvBert), han mostrado un éxito limitado. Específicamente, los ataques supervisados sufren de desplazamientos de distribución entre los datos de sombra del atacante y los embeddings ofuscados del objetivo, mientras que los ataques basados en optimización carecen de robustez estructural contra el ruido de ofuscación.

Metodología: DeepInvert

El artículo presenta DeepInvert, un ataque de inversión de embeddings semi-supervisado diseñado para recuperar tokens originales de representaciones ofuscadas con una precisión mayor que los métodos anteriores. La idea central es que, aunque los embeddings ofuscados están perturbados, retienen una estructura semántica explotable que puede aprenderse a partir de datos no etiquetados del objetivo.

Arquitectura Central

DeepInvert emplea un marco de aprendizaje semi-supervisado inspirado en FixMatch, pero adaptado a la naturaleza de alto vocabulario y ruidosa de la inversión de embeddings. Alterna entre dos objetivos de entrenamiento:

Aprendizaje Supervisado (Datos de Sombra): El modelo se entrena con embeddings ofuscados etiquetados generados por "modelos de sombra" (defensas simuladas). Este componente utiliza la pérdida de entropía cruzada estándar para mapear los estados ofuscados a IDs de tokens.
Consistencia No Supervisada (Datos del Objetivo): El modelo aprovecha los embeddings ofuscados no etiquetados de la implementación real del objetivo. Impone consistencia entre las vistas "débilmente" y "fuertemente" aumentadas del mismo embedding.

Innovaciones Técnicas Clave

Para abordar los desafíos específicos de la inversión de embeddings (gran vocabulario, desplazamiento de distribución y ruido), DeepInvert introduce varias adaptaciones personalizadas:

Etiquetado Suave (Soft Labeling) y Divergencia KL Top- $k$ : En lugar de utilizar etiquetas pseudo-rígidas (que suelen ser inexactas en entornos de alto vocabulario), el ataque utiliza etiquetas suaves. Restringe la pérdida de consistencia a las $k$ probabilidades predichas más altas, reduciendo la influencia de las predicciones de la cola larga de baja confianza y optimizando los recursos computacionales.
Vistas Aumentadas con Máscara: Tomando prestadas técnicas de preentrenamiento, el método enmascara aleatoriamente los embeddings de los tokens en la secuencia de entrada. Esto obliga al modelo a reconstruir la estructura semántica a partir del contexto en lugar de depender de características específicas del token, ayudando a restaurar la información dañada por la ofuscación.
Profesor EMA: Para estabilizar el entrenamiento no supervisado y prevenir el colapso del modelo, se utiliza un modelo profesor de Media Móvil Exponencial (EMA). El modelo estudiante aprende de las predicciones del profesor en las vistas débiles, mientras que el profesor se actualiza mediante la EMA de los parámetros del estudiante.
Pipeline de Entrenamiento Mixto: En lugar de optimizar conjuntamente las pérdidas supervisadas y no supervisadas (lo que puede generar conflictos de gradiente), DeepInvert utiliza un esquema alterno. Cambia entre pasos de optimización supervisados y no supervisados dentro de un epoch, permitiendo que ambos objetivos se refuercen mutuamente.
Optimizaciones Específicas de la Defensa:
- Ataque de Multi-Sombra: Para mitigar los desplazamientos de distribución causados por permutaciones secretas o agrupamientos en defensas como ObfusLM, el ataque utiliza múltiples modelos de sombra con diferentes semillas aleatorias.
- Renormalización y Denoising: Para las defensas basadas en DP, el ataque aplica normalización de capa para estandarizar las escalas de los embeddings y utiliza el Análisis de Componentes Principales (PCA) para eliminar el ruido de los embeddings antes de la inversión, reduciendo efectivamente la relación ruido-señal.

Resultados Experimentales

Los autores evaluaron DeepInvert a través de nueve defensas, cinco tareas (incluyendo clasificación binaria/multiclase, NER y QA médica) y cuatro arquitecturas de modelos (BERT, RoBERTa, LLaMA3-8B, Qwen3.5-27B).

Rendimiento en ObfusLM: Contra la defensa de vanguardia ObfusLM, DeepInvert logra una tasa de recuperación de token top-1 del 73.5% (en SST-2 con RoBERTa), una mejora significativa sobre el mejor ataque anterior (InvBert) que logró solo un 26.2%. En tareas de generación (QA Médica con Qwen3.5-27B), la tasa de recuperación alcanza el 85.2%.
Generalización: DeepInvert supera consistentemente a las líneas base (KNN, TBS, DEML, InvBert) en la mayoría de las defensas y tareas. Demuestra robustez incluso en entornos fuera de dominio donde la distribución de los datos de sombra difiere de la del objetivo.
Recuperación de Tokens Sensibles: El ataque recupera tokens sensibles (por ejemplo, términos médicos, entidades nombradas) a tasas comparables a las de los tokens no sensibles, lo que indica que la ofuscación no protege selectivamente el contenido sensible.

Significado y Reivindicaciones

El artículo afirma que DeepInvert expone una tensión dependiente de la tarea fundamental en el equilibrio entre privacidad y utilidad de las defensas de ofuscación actuales:

Tareas de Nivel de Token y Generación: Existe un conflicto severo. Las defensas que preservan suficiente señal para la utilidad posterior (por ejemplo, generación precisa o NER) retienen inherentemente suficiente estructura semántica para que DeepInvert recupere los tokens originales con precisión. Por el contrario, las defensas lo suficientemente fuertes para resistir la inversión (por ejemplo, $\epsilon$ DP alto o ruido pesado) colapsan la utilidad de la tarea posterior a niveles cercanos al azar.
Clasificación a Nivel de Oración: En tareas más simples como el análisis de sentimiento, algunas defensas basadas en DP pueden mantener simultáneamente la utilidad y limitar la recuperación de tokens, lo que sugiere que la tensión es menos aguda para tareas de grano grueso.

Los autores concluyen que las defensas actuales basadas en la ofuscación proporcionan mucha menos protección de la que se creía anteriormente bajo los parámetros de privacidad estándar. Instan a una reevaluación de esta clase de defensas, particularmente para cargas de trabajo generativas y de nivel de token, y sugieren que lograr una privacidad significativa puede requerir un cambio hacia soluciones criptográficas más pesadas o diseños híbridos.