Lossless Prompt Compression via Dictionary-Encoding and In-Context Learning: Enabling Cost-Effective LLM Analysis of Repetitive Data

Resumen Técnico: Compresión de Prompts sin Pérdida para LLMs

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) enfrentan desafíos significativos de costo y latencia al procesar datos textuales repetitivos, como registros del sistema (logs), debido a:

• Precios basados en tokens: El costo de las APIs escala directamente con la cantidad de tokens consumidos.
• Limitaciones de la ventana de contexto: Los datos masivos a menudo exceden el límite de tokens que un modelo puede procesar en una sola solicitud.
• Ineficiencia de la compresión tradicional: Los algoritmos de compresión estándar (como ZIP o GZIP) logran altas tasas de compresión en datos repetitivos, pero los LLMs no pueden procesar nativamente formatos comprimidos binarios; requieren descompresión previa, lo que anula los beneficios de costo.

La pregunta central es: ¿Puede un LLM analizar datos comprimidos directamente sin descompresión explícita, aprendiendo la clave de codificación "en contexto" (in-context)?

2. Metodología

Los autores proponen un enfoque de compresión de prompts sin pérdida (lossless) basado en la codificación de diccionario, diseñado específicamente para ser interpretado por LLMs a través del aprendizaje en contexto, sin necesidad de fine-tuning.

Algoritmo de Compresión Jerárquica:
El sistema opera en cuatro etapas principales:

1. Segmentación: El texto de entrada se divide en unidades de palabras no vacías.
2. Identificación de Subsecuencias: Se identifican patrones repetitivos a múltiples escalas de longitud (desde $L_{max}$ hasta 2 tokens). El algoritmo procesa de lo más largo a lo más corto para maximizar la eficiencia.
3. Sustitución con Meta-tokens: Las subsecuencias seleccionadas se reemplazan por "meta-tokens" compactos (ej. <M1>, <M2>).
4. Construcción del Diccionario: Se genera un diccionario que mapea cada meta-token a su subsecuencia original.

Criterio de Optimización de Ahorro de Tokens:
Un componente crítico es el criterio matemático que decide si una sustitución es rentable. Una sustitución solo se aplica si el costo de tokens del texto comprimido más el diccionario es menor que el texto original:
$$(1 + f) \cdot n_{token}(M) + n_{token}(S) < f \cdot n_{token}(S)$$
Donde $f$ es la frecuencia de la subsecuencia $S$, y $M$ es el meta-token. Esto evita que la sobrecarga del diccionario supere los ahorros obtenidos.

Estrategia por Lotes (Batch):
Para conjuntos de datos grandes, la compresión se aplica por lotes. Cada lote recibe un diccionario específico optimizado para los patrones de ese lote, permitiendo paralelización y evitando el desperdicio de tokens en patrones que no existen en el lote actual.

3. Contribuciones Clave

1. Aprendizaje de Diccionarios en Contexto: Demostración empírica de que los LLMs pueden internalizar mapeos de compresión (diccionarios) proporcionados en el system prompt y producir salidas analíticamente equivalentes a las de los datos sin comprimir, sin modificar los pesos del modelo.
2. Algoritmo de Compresión Jerárquica: Desarrollo de una estrategia que maneja patrones anidados y evita solapamientos, garantizando una compresión determinista y segura para producción.
3. Criterio de Rentabilidad: Introducción de una métrica que asegura que la compresión reduzca los costos reales (tokens), equilibrando la frecuencia de los patrones con el tamaño del diccionario.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el conjunto de datos LogHub 2.0 (registros de sistemas distribuidos, supercomputadoras, SO, etc.) y modelos como Claude 3.7 Sonnet y Nova Premier.

• Tasas de Compresión: Se lograron tasas de compresión entre 60% y 80% en datasets con alta repetitividad (ej. Apache, OpenSSH, Linux).
• Precisión en la Descompresión (Validación):
  • Compresión Basada en Plantillas: Tasa de coincidencia exacta (Exact Match) superior a 0.99 (99%) en la mayoría de los datasets.
  • Compresión Algorítmica: Puntuaciones de similitud de Levenshtein promedio superiores a 0.91, incluso con altas tasas de compresión.
• Independencia de la Intensidad de Compresión: Un hallazgo crucial es que la tasa de compresión explica menos del 2% de la varianza en la calidad de la reconstrucción. Esto significa que la dificultad de descompresión depende de las características intrínsecas del dataset (estructura semántica) y no de qué tan agresiva sea la compresión.
  • Nota: Los datasets con peor rendimiento (HPC, Thunderbird) contenían secuencias alfanuméricas densas sin contexto lingüístico natural, lo que dificultaba la reconstrucción, no la compresión en sí.
• Escalabilidad: El método funcionó eficazmente en datasets de hasta 100,000+ entradas y diccionarios de hasta 626 entradas sin degradar el rendimiento.

5. Significado e Implicaciones

• Reducción de Costos: Permite análisis a gran escala de datos repetitivos con una reducción proporcional de costos de API (60-80% menos tokens).
• Sin Fine-tuning: Elimina la necesidad de entrenar o ajustar modelos, lo cual es costoso y poco práctico cuando los patrones de datos evolucionan con el tiempo.
• Aplicabilidad Inmediata: Funciona con LLMs basados en API estándar, resolviendo limitaciones de ventana de contexto y costos de manera inmediata.
• Dominios de Aplicación: Aunque probado en logs, es aplicable a minería de procesos, artefactos de ingeniería de software, documentos con plantillas y reportes estructurados.

Conclusión:
El trabajo demuestra que la compresión de prompts sin pérdida es viable y altamente efectiva mediante el aprendizaje en contexto. Esto habilita el análisis económico y completo de grandes volúmenes de datos repetitivos, superando las barreras de costo y capacidad de los LLMs actuales sin sacrificar la fidelidad analítica.