💬 NLP

SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking

Este artículo propone **SSG** (*Sort-then-Split by Groups*), un nuevo método de partición de vocabulario basado en logit para mejorar la detectabilidad de las marcas de agua en modelos de lenguaje, especialmente en tareas de baja entropía como la generación de código y razonamiento matemático.

Autores originales: Chenxi Gu, Xiaoning Du, John Grundy

Publicado 2026-04-27

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Chenxi Gu, Xiaoning Du, John Grundy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El "Sello Invisible" que se borra cuando hay pocas opciones

Imagina que quieres marcar tus libros con un sello invisible para que, si alguien los copia, puedas demostrar que son tuyos. En el mundo de la Inteligencia Artificial (IA), esto se llama "watermarking" (marcado de agua).

Actualmente, existe un método muy popular (llamado KGW) que funciona así: cada vez que la IA escribe una palabra, el sistema decide de antemano qué palabras son "verdes" (permitidas para el sello) y cuáles son "rojas". Para dejar la marca, la IA intenta elegir más palabras "verdes" de lo normal. Si al final del texto hay muchísimas palabras verdes, ¡bingo!, has detectado la marca.

Pero aquí está el problema: Imagina que estás jugando a un juego de palabras, pero solo te permiten usar palabras que empiecen con la letra "Z". Tienes tan pocas opciones que, aunque intentes elegir las "verdes", casi no tienes margen de maniobra.

Esto pasa en la IA cuando hace tareas de código de programación o matemáticas. En esos casos, la IA no tiene mucha libertad; casi siempre tiene que usar una palabra o un símbolo muy específico para que la respuesta sea correcta. Como tiene tan pocas opciones, el "sello invisible" se vuelve casi imposible de ver. Es como intentar pintar un dibujo con un pincel que solo tiene un color disponible: no puedes crear un patrón.

La Solución: El método SSG (El "Reparto Equitativo")

Los investigadores de la Universidad de Monash han creado un nuevo método llamado SSG (Sort-then-Split by Groups).

Para entenderlo, imagina que vas a organizar una fiesta y tienes que repartir refrescos de dos sabores: Cola y Limón.

El método viejo (KGW): Es como lanzar los refrescos al aire y ver qué cae. Por pura mala suerte, puede que todas las botellas de Cola caigan en un lado y las de Limón en otro. Si la IA solo tiene "opciones de Cola" para ese momento, no puede usar el sabor Limón para dejar su marca. El sello se pierde.
El nuevo método (SSG): Es como un organizador profesional. Primero, mira cuáles son las bebidas más populares (las palabras que la IA más quiere usar). Luego, las ordena y las agrupa de dos en dos: "Tú eres Cola, tú eres Limón; tú eres Cola, tú eres Limón".

Al hacer este reparto equilibrado, el SSG garantiza que, sin importar qué tan difícil sea la tarea, siempre habrá una opción "verde" y una "roja" entre las mejores candidatas. Así, la IA siempre tiene la oportunidad de elegir la palabra "verde" para dejar su marca sin tener que elegir una palabra que no tenga sentido o que rompa el código de programación.

¿Por qué es importante esto?

Es más difícil de engañar: Ahora podemos rastrear si un texto (como un código de software o una solución matemática) fue creado por una IA, incluso en tareas donde antes era imposible.
No arruina el trabajo: A diferencia de otros intentos de arreglar esto, el método SSG no hace que la IA se vuelva "torpe". La IA sigue escribiendo código perfecto, pero ahora deja una huella mucho más clara.
Es eficiente: No requiere una potencia de cálculo gigante; es un truco inteligente de organización que funciona rápido.

En resumen: El SSG es como asegurar que, incluso cuando tienes que hablar con muy pocas palabras, siempre tengas una opción "marcada" a mano para que nadie pueda robar tu autoría sin que te des cuenta.

Resumen Técnico: SSG: Partición de Vocabulario Balanceada por Logits para el Marcado de Agua en LLMs

1. El Problema: Debilidad en Entornos de Baja Entropía

El método de marcado de agua KGW (Kirchenbauer et al.) es el estándar actual debido a su eficiencia. Este método divide el vocabulario en dos conjuntos (verde y rojo) mediante un hash basado en el contexto y añade un sesgo (bias) a los tokens del conjunto "verde".

Sin embargo, los autores identifican una falla crítica: el rendimiento de KGW decae drásticamente en tareas de baja entropía, como la generación de código o el razonamiento matemático. En estos escenarios, la distribución de probabilidad del siguiente token es muy "puntiaguda" (pocos tokens tienen probabilidades muy altas). Debido a que KGW utiliza una partición de vocabulario aleatoria, existe una alta probabilidad de que todos los tokens con logits altos caigan en el mismo conjunto (todos verdes o todos rojos). Si los tokens más probables son todos rojos, el sesgo hacia el conjunto verde es casi nulo, lo que resulta en una señal de marcado de agua casi indetectable.

2. Metodología: El Algoritmo SSG (Sort-then-Split by Groups)

Para solucionar esto, los autores introducen el concepto de "Watermark Strength" (Fuerza de la Marca de Agua), una métrica a nivel de token que cuantifica cuánto altera el sesgo la distribución de probabilidad hacia el conjunto verde.

La propuesta central es SSG, un nuevo algoritmo de partición que garantiza un equilibrio de logits. El proceso es el siguiente:

Ordenamiento: Se calculan los logits de todos los tokens y se ordenan de mayor a menor.
Agrupación y Partición: En lugar de asignar colores al azar, SSG agrupa los tokens en pares consecutivos según su orden de importancia.
Asignación Balanceada: Para cada par, se utiliza un generador de números pseudoaleatorios (sembrado con una clave secreta) para asignar un token al conjunto verde ( $V_g$ ) y el otro al rojo ( $V_r$ ). Esto asegura que, de los tokens más probables, la mitad sea verde y la otra mitad roja.
Optimización (Top-k): Para evitar el costo computacional de ordenar todo el vocabulario en cada paso, los autores proponen aplicar SSG solo a los top-k tokens con mayor probabilidad, dejando el resto del vocabulario para una partición aleatoria estándar.

3. Contribuciones Clave

Análisis Teórico: Identificación de la limitación de KGW y la formalización de la "Fuerza de la Marca de Agua".
Garantía de Límite Inferior: Demostración matemática de que SSG eleva el límite inferior de la fuerza de la marca de agua, asegurando que la señal sea detectable incluso cuando la distribución es muy concentrada.
Nuevo Algoritmo de Inyección: El método SSG, que mejora la inyección de la señal sin necesidad de modificar el algoritmo de detección (es compatible con métodos existentes como KGW, SWEET y EWD).
Eficiencia Computacional: Propuesta de la variante top-k para mantener la velocidad de generación.

4. Resultados Experimentales

Los autores evaluaron SSG en modelos como Qwen2.5-Coder-7B, DeepSeekMath-7B y LLaMA-3-8B utilizando datasets de código (HumanEval, MBPP) y matemáticas (GSM8K).

Detectabilidad Superior: SSG mejoró significativamente las tasas de verdaderos positivos (TPR) y el F1-score en comparación con KGW, SWEET y EWD, especialmente en tareas de baja entropía.
Preservación de la Calidad: A diferencia de otros métodos que intentan aumentar la fuerza de la marca aumentando el sesgo ( $\delta$ ) —lo cual degrada la coherencia del texto—, SSG logra mayor detectabilidad sin comprometer la calidad de la generación (medida por Pass@1).
Análisis de Top-k: Se demostró que usar un $k$ pequeño (entre 2 y 4) es suficiente para obtener beneficios masivos en detección con un impacto mínimo en la velocidad de decodificación.

5. Significado e Impacto

Este trabajo es significativo porque aborda una de las vulnerabilidades más importantes en la trazabilidad de contenido generado por IA: la incapacidad de marcar contenido técnico y estructurado. Al proponer una solución que actúa en la fase de inyección (cómo se eligen los tokens) en lugar de solo en la detección, SSG ofrece una herramienta más robusta para la protección de la propiedad intelectual y la autenticación de contenido en aplicaciones críticas de software y ciencia.