Resumen Técnico: Realizabilidad Asimétrica en el Trasplante de Tokenizadores

Enunciado del Problema

El artículo aborda una vulnerabilidad estructural en la cadena de suministro de modelos de lenguaje grandes (LLM) de pesos abiertos, específicamente dentro de las pipelines de trasplante de tokenizadores sin entrenamiento. A medida que los desarrolladores componen cada vez más nuevos modelos fusionando checkpoints existentes (por ejemplo, mediante mergekit), deben cerrar las brechas de vocabulario entre un modelo "donante" (fuente de nuevos tokens) y un modelo "base" (receptor).

Los operadores de trasplante más avanzados actuales (como OMP, CLP, WECHSEL y FOCUS) se basan en la reconstrucción de base compartida. Estos métodos reconstruyen la incrustación de un token exclusivo del donante en el espacio del modelo base mediante:

1. Ajustar un conjunto disperso de coeficientes ($\beta$) para representar el token del donante como una suma ponderada de tokens "ancla" compartidos en el espacio de incrustación del donante.
2. Reutilizar esos mismos coeficientes para sintetizar la nueva incrustación en el espacio del modelo base ($\hat{x}_b = \Phi_b^\top \beta$).

Los autores identifican un defecto geométrico crítico: la Realizabilidad Asimétrica. El mismo vector de coeficientes $\beta$ puede mapear a una región de baja energía, estadísticamente inerte, en el rango de anclas del donante, mientras simultáneamente mapea a una región de alta saliencia y alta probabilidad en el rango de anclas del base. Esta brecha permite que un atacante manipule los artefactos de vocabulario del donante para inducir comportamientos específicos y de alta frecuencia en el modelo base sin alterar los pesos internos del donante ni el código de trasplante.

Metodología

Los autores proponen un ataque de "token roturador" sin entrenamiento que explota esta asimetría geométrica. El ataque no requiere acceso a gradientes del modelo base ni modificación de los pesos del transformador del donante.

1. Construcción del Ataque

El atacante añade un único token nuevo $\tau^*$ al tokenizador del donante y diseña su vector de incrustación $x_d(\tau^*)$ para satisfacer dos objetivos conflictivos:

• Inercia del Donante: El token debe permanecer estadísticamente invisible en el modelo donante (baja probabilidad de emisión). Esto se logra restringiendo la incrustación del token para que se sitúe en las direcciones de "baja energía" de la distribución de estados ocultos del donante (específicamente, ortogonal a los componentes principales de la variación del donante, denotados como subespacio $U$).
• Saliencia del Base: Tras el trasplante, el token debe reconstruirse en una dirección de alta saliencia en el modelo base. El atacante apunta a la media empírica de los estados ocultos de la última capa del modelo base ($\mu_{base}$) derivados de texto público.

2. Marco de Optimización

El atacante resuelve un problema de optimización de doble objetivo para encontrar los coeficientes óptimos $\alpha$ (o directamente la incrustación $x_d$):
$$\mathcal{L}(\theta) = \underbrace{\| \hat{x}_b(\theta) - \mu_{base} \|_2^2}_{\text{Saliencia del Base}} + \lambda \underbrace{\| U x_d(\theta) \|_2^2}_{\text{Inercia del Donante}} + \rho R(\theta)$$

• Para OMP (Búsqueda Ortogonal de Coincidencia): El atacante utiliza una estrategia de selección de soporte codiciosa para elegir un subconjunto de anclas compartidas $S$ y resuelve para los coeficientes $\alpha$ que minimizan la proyección del donante sobre $U$ mientras maximizan la alineación con $\mu_{base}$.
• Para Operadores Diferenciables (CLP, WECHSEL, FOCUS): El atacante optimiza la incrustación del donante directamente utilizando descenso de gradiente, simulando el mapa hacia adelante específico del operador durante la optimización.

3. Modos de Realización

El artículo demuestra que la forma superficial del token roturador es controlada por el atacante. Dependiendo de la cadena de caracteres elegida, el ataque puede manifestarse como:

• Degradación del Servicio: El token domina la generación, provocando que el modelo genere texto repetitivo y sin sentido.
• Envenenamiento de la Reputación: El token (por ejemplo, un insulto) se inserta dispersamente en cadenas de razonamiento que de otro modo serían coherentes.
• Marcado de Agua Adversarial: Se añade una etiqueta encubierta a las salidas, permitiendo al atacante rastrear el uso no autorizado del vocabulario comprometido.

Contribuciones Clave

1. Identificación de la Realizabilidad Asimétrica: El artículo caracteriza formalmente la propiedad geométrica donde la reconstrucción de base compartida permite que un único vector de coeficientes sea "silencioso" en el espacio del donante pero "ruidoso" en el espacio del base. Esto se demuestra mediante un análisis de Descomposición en Valores Singulares Generalizada (GSVD) de los diccionarios de anclas emparejados.
2. Construcción de Tokens Roturadores: Los autores proporcionan un método concreto y sin entrenamiento para construir estos tokens. Demuestran que un único checkpoint de donante (por ejemplo, Gemma-2-2B) puede ser armado para atacar 13 bases aguas abajo diferentes a través de cinco familias de modelos (Llama, Mistral, Qwen, Gemma, SmolLM2) simplemente añadiendo diferentes filas roturadoras para cada objetivo.
3. Evaluación de Defensas:
   • Filtros Espectrales: Los detectores heurísticos estándar (por ejemplo, Magikarp, que verifica el colapso de la norma o la alineación de basura) no logran detectar los tokens roturadores porque estos están diseñados para imitar la distribución estadística de los tokens naturales del donante (mimetismo espectral).
   • Ajuste Fino LoRA: El ajuste fino LoRA posterior al trasplante suprime el ataque solo en prompts que coinciden con el corpus de ajuste fino. En prompts fuera de distribución (OOD), el ataque persiste con altas Tasas de Emisión de Secuencia (SER).
   • Fusión de Pesos: Fusionar la base atacada con un modelo de referencia limpio no elimina la dirección plantada; el modelo fusionado hereda la fila de incrustación comprometida.

Resultados Experimentales

Los autores evaluaron su método en 65 pares donante-base (incluyendo un "clique ligero" de 20 pares y un grupo de "escala estándar" de 65 pares) utilizando OMP, con validación cruzada de operadores en CLP, WECHSEL y FOCUS.

• Asimetría: En el clique ligero, 13 de 20 pares alcanzaron una Tasa de Emisión de Secuencia (SER) máxima de $\ge 0.2$ en el base atacado mientras mantenían un SER del donante $\le 0.05$. Varios pares lograron emisión perfecta (SER = 1.0) en el base mientras permanecían completamente silenciosos (SER = 0.0) en el donante.
• Preservación de Utilidad: Los modelos donantes parcheados conservaron sus puntuaciones de utilidad originales (por ejemplo, MMLU, perplejidad de Wikitext) en los benchmarks estándar, confirmando el sigilo del ataque.
• Alcance Transversal de Modelos: Un único checkpoint de donante Gemma-2-2B atacó con éxito 13 bases diferentes. El SER medio del base superó 0.99 en 8 de estas bases, mientras que el SER del donante se mantuvo por debajo de 0.014.
• Fallo de las Defensas: El ajuste fino LoRA estándar no logró mitigar el ataque en distribuciones OOD retenidas (por ejemplo, continuación de WikiText), donde el SER se mantuvo por encima de 0.87 incluso después del ajuste fino.

Significado y Afirmaciones

El artículo afirma que la geometría de reutilización de coeficientes es un criterio de diseño fundamental para los operadores de trasplante de tokenizadores que ha sido pasado por alto. Los autores argumentan que:

• Riesgo en la Cadena de Suministro: La cadena de suministro de composición de pesos abiertos es vulnerable a ataques "uno-a-muchos" donde un único donante malicioso puede comprometer una amplia gama de modelos aguas abajo sin requerir adaptación por víctima.
• Limitaciones de las Defensas Actuales: Las heurísticas de auditoría actuales (filtros espectrales) y las estrategias de mitigación post-hoc (LoRA, fusión de pesos) son insuficientes contra esta clase específica de ataques geométricos.
• Llamada a la Acción: Los autores proponen que los futuros operadores de trasplante deben incorporar una validación del lado del receptor de las filas sintetizadas (por ejemplo, verificando la realizabilidad asimétrica o utilizando auditoría de comportamiento) en lugar de confiar únicamente en la suposición de que la reutilización de coeficientes es benigna. Proporcionan un diagnóstico concreto (energía de asimetría GSVD) para evaluar la robustez de nuevos operadores.

El trabajo no afirma romper las capacidades de razonamiento central de los modelos en general, sino que destaca un modo de fallo específico y estructural en la capa de interoperabilidad del ecosistema de LLM que permite la manipulación dirigida, persistente y sigilosa de las salidas del modelo.