LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

En el mundo de la inteligencia artificial, existe una clase de programas informáticos potentes conocidos como modelos de lenguaje. Estos sistemas están entrenados para predecir la siguiente palabra en una oración, lo que les permite escribir historias, responder preguntas e incluso resolver problemas matemáticos complejos mediante la generación de largas cadenas de razonamiento. Para realizar estas predicciones, los modelos se apoyan en un proceso estadístico donde eligen la palabra más probable de una vasta lista de posibilidades. Sin embargo, un problema persistente ha plagado a estos sistemas, particularmente cuando se les pide que piensen en tareas difíciles: a veces se quedan atrapados en un bucle. En lugar de avanzar con una nueva idea, el modelo comienza a repetir las mismas palabras o frases una y otra vez, degradando su producción hasta convertirla en un sinsentido. Este problema se conoce como repetición degenerativa, y ha sido una barrera significativa para el uso de estos modelos en tareas deterministas y fiables donde el resultado debe ser consistente y libre de errores.

Durante años, los ingenieros han intentado solucionar esto aplicando penalizaciones simples a las elecciones del modelo. Estas penalizaciones actúan como un suave empujón, desalentando al modelo de elegir palabras que ya ha utilizado recientemente. Un método cuenta cuántas veces ha aparecido una palabra y reduce su probabilidad; otro simplemente penaliza cualquier palabra que haya aparecido antes. Si bien estos métodos funcionan bien para la conversación casual, a menudo fallan cuando el modelo está dedicado al razonamiento profundo. Los modelos de razonamiento, que generan secuencias de texto muy largas para trabajar en acertijos lógicos, frecuentemente caen en ciclos repetitivos a pesar de estos arreglos estándar. El resultado es un sistema que puede empezar con fuerza pero que eventualmente colapsa en un bucle de tartamudeo de palabras repetidas, volviendo la salida inútil para aplicaciones serias.

Durante años, un equipo de investigadores de Salesforce AI Research ha propuesto una nueva solución que se inspira en un campo completamente diferente: la compresión de datos. Su trabajo introduce un método llamado penalización Lempel-Ziv, el cual está diseñado para detener estos bucles repetitivos sin sacrificar la capacidad del modelo para pensar con claridad. La idea central se basa en una conexión fundamental entre la predicción de la siguiente palabra en una oración y la compresión de un archivo de datos. En el mundo de la informática, los algoritmos de compresión funcionan encontrando patrones y repeticiones en los datos para hacer los archivos más pequeños. Si una secuencia de palabras se repite con frecuencia, un algoritmo de compresión puede describir esa secuencia de manera muy eficiente, utilizando menos bits de información. Los investigadores se dieron cuenta de que, si pudieran medir qué tan fácilmente se podía comprimir el flujo actual de texto del modelo, podrían usar esa información para guiar al modelo lejos de los patrones repetitivos.

Los investigadores desarrollaron un sistema que simula un tipo específico de algoritmo de compresión, conocido como el algoritmo Lempel-Ziv, en tiempo real mientras el modelo genera texto. Este algoritmo observa una ventana deslizante del historial de texto reciente, buscando las coincidencias más largas posibles de secuencias de palabras. Cuando el modelo considera una nueva palabra, el sistema calcula cuánto cambiaría el tamaño total del archivo comprimido. Si la nueva palabra crea un patrón largo y redundante que el algoritmo de compresión puede codificar fácilmente, el sistema aplica una penalización a esa palabra, haciendo que sea menos probable que sea elegida. Por el contrario, si la palabra introduce información nueva e impredecible que no puede ser fácilmente comprimida, la penalización es baja o inexistente. Este enfoque es distinto de los métodos anteriores porque no solo cuenta cuántas veces aparece una sola palabra; en su lugar, observa la longitud de la secuencia repetida y qué tan atrás ocurrió dicha secuencia.

Para probar este nuevo enfoque, los investigadores lo aplicaron a dos modelos de razonamiento avanzados, uno con 32 mil millones de parámetros y otro de 14 mil millones. Compararon el rendimiento de su nueva penalización contra los métodos estándar de la industria utilizados hoy en día. Los resultados fueron sorprendentes. Al utilizar las penalizaciones estándar de frecuencia o repetición, los modelos seguían cayendo en bucles de repetición degenerativa aproximadamente el 4% de las veces, incluso cuando los investigadores intentaban ajustar la configuración para prevenirlo. En contraste, la nueva penalización Lempel-Ziv redujo la tasa de estos fallos repetitivos a prácticamente cero. Los modelos pudieron generar cadenas de razonamiento largas y complejas sin quedarse estancados, y su precisión en pruebas de referencia difíciles se mantuvo sin cambios. Esto sugiere que el nuevo método elimina con éxito la redundancia que causa los bucles sin interferir con las capacidades genuinas de razonamiento del modelo.

Los investigadores también examinaron el costo computacional de ejecutar esta nueva penalización. Debido a que el sistema debe simular un paso de compresión por cada palabra generada, se requiere una pequeña cantidad de trabajo adicional. Sin embargo, descubrieron que esta sobrecarga es sorprendentemente pequeña. Para modelos grandes, la ralentización en la velocidad fue de menos del uno por ciento, una diferencia tan mínima que sería apenas perceptible en un uso real. Esta eficiencia hace que el método sea práctico para una adopción inmediata, ofreciendo una forma de hacer que los modelos de razonamiento sean más fiables sin demandar una nueva potencia de cómputo significativa.

Una limitación señalada por el equipo es que el método está diseñado específicamente para el lenguaje natural. El algoritmo de compresión depende de la suposición de que el lenguaje tiene ciertas propiedades estadísticas, como el hecho de que las palabras tienden a repetirse de maneras predecibles a lo largo del tiempo. Si bien el método funciona excepcionalmente bien para el texto, los investigadores advierten que podría no ser tan efectivo para otros tipos de datos, como imágenes o audio, sin ajustes específicos. Además, el sistema no es perfecto para cada escenario concebible; por ejemplo, si un usuario pide explícitamente al modelo que repita una letra cien veces, la penalización podría interferir con esa instrucción específica. Sin embargo, para la gran mayoría de las tareas donde el objetivo es un razonamiento coherente y no repetitivo, el nuevo método parece ser una solución robusta.

Los hallazgos sugieren un cambio en cómo pensamos sobre el control de la inteligencia artificial. En lugar de depender de instrumentos contundentes que simplemente prohíben palabras basándose en su conteo, este enfoque utiliza los principios matemáticos de la teoría de la información para comprender la estructura del propio texto. Al tratar la generación de texto como un proceso de compresión, los investigadores han creado una herramienta que filtra naturalmente el ruido de la repetición mientras preserva la señal del pensamiento. Esto permite que los modelos de razonamiento de código abierto operen con un nivel de determinismo que antes era difícil de lograr, abriendo la puerta a aplicaciones más fiables en campos donde la consistencia es primordial. El trabajo demuestra que, al observar el problema a través del lente de la compresión de datos, podemos encontrar soluciones elegantes a los fallos persistentes que durante mucho tiempo han obstaculizado el progreso de los modelos de lenguaje.