Text-Preserving Lossy Text Compression: A Study of Strategic Deletion and LLM Reconstruction

Resumen Técnico: Compresión Textual con Pérdida que Preserva el Texto

Formulación del Problema
Este artículo aborda las limitaciones de la compresión textual sin pérdida tradicional (por ejemplo, zlib, bzip2, LZMA) en las pipelines de procesamiento del lenguaje natural, donde las ganancias de compresión suelen ser modestas y el requisito de reconstrucción bit a bit restringe la utilidad en entornos con limitaciones de ancho de banda o de ventana de contexto. Los autores proponen un marco para la compresión semántica con pérdida que preserva el texto. A diferencia de la codificación semántica sin restricciones (que produce vectores latentes) o del resumen abstractivo (que reescribe la fuente), este enfoque busca transmitir un "esqueleto" del texto original —creado mediante la eliminación estratégica de tokens—, asegurando al mismo tiempo que el artefacto permanezca textual. El objetivo es permitir que un decodificador LLM en el receptor reconstruya el contenido original con alta fidelidad semántica, preservando la utilidad del texto para su inspección, edición y enrutamiento antes o después de la reconstrucción.

Metodología
El marco opera como un problema de codificación y decodificación en dos fases:

1. Codificador (Eliminación Estratégica): El codificador reduce un texto fuente $T$ de longitud $L$ a una representación degradada $\tilde{T}$ de longitud $r_{keep} \cdot L$ mediante la eliminación de tokens. El artículo evalúa una progresión de estrategias de eliminación en tres niveles de sofisticación:
   • Nivel 1 (Nivel de Carácter): Eliminación por pasos uniforme y líneas base estocásticas (Gaussiana, Bernoulli, Poisson). Estas sirven como puntos de referencia inferiores, pero ignoran la estructura lingüística.
   • Nivel 2 (Nivel de Palabra):
     • WordLen: Eliminación adaptativa de palabras pequeñas y vocales basada en heurísticas de longitud.
     • WordFreq: Una estrategia estática que utiliza puntuaciones de frecuencia de Zipf para priorizar la eliminación de palabras frecuentes y predecibles, preservando al mismo tiempo el contenido raro y denso en información.
     • Opt (Optimizado por Programación Lineal): Un enfoque de programación lineal que asigna cuotas de eliminación en seis grupos de tokens (Frecuencia Baja/Media/Alta, Puntuación, Otros, Espacios en blanco) para maximizar la preservación semántica esperada.
   • Nivel 3 (Nivel Semántico):
     • Basado en Entropía: Eliminación basada en la sorpresa de GPT-2 (predictibilidad contextual por token).
     • Métodos Híbridos: Combinaciones de señales de frecuencia y sorpresa (por ejemplo, Entropy-LP, Entropy-in-FreqBuckets, e Hybrid-$\alpha$).
2. Decodificador (Reconstrucción Semántica): Un LLM generativo reconstruye el texto original a partir del esqueleto. El estudio compara:
   • Zero-Shot: Utilizando Gemini 2.0 Flash como una línea base propietaria sólida.
   • Ajuste Fino: Utilizando QLoRA para ajustar fino Llama-3.2-3B-Instruct en los patrones de degradación específicos de las estrategias de eliminación, creando un decodificador local ligero.

Resultados Clave
La evaluación en el conjunto de datos BBC News a través de tasas de retención ($r_{keep} \in [0.1, 0.9]$) utilizando BERTScore, ROUGE-L y Tasa de Error de Caracteres (CER) arroja tres hallazgos principales:

1. Rendimiento Dependiente del Régimen: Ninguna estrategia de eliminación única domina todas las tasas de compresión.
   • Compresión Leve a Moderada: Los métodos semánticos e híbridos (Entropía, Hybrid-$\alpha$) ofrecen las ganancias más claras sobre las líneas base estáticas.
   • Compresión Agresiva (Baja Retención): WordFreq (eliminación estática basada en frecuencia) demuestra ser la más robusta. A pesar de utilizar solo una búsqueda estática, a menudo supera a los métodos semánticos costosos en las tasas de retención más bajas ($r_{keep} \le 0.3$).
2. Eficiencia del Codificador vs. Calidad: Los métodos semánticos que requieren inferencia de GPT-2 para el cálculo de entropía son significativamente más lentos (13–115$\times$) que WordFreq. En tasas de retención altas ($r_{keep}=0.9$), la brecha de rendimiento entre WordFreq y los métodos basados en entropía es negligible (~0.002 BERTScore), lo que convierte a WordFreq en la opción práctica para codificadores con recursos limitados.
3. Adaptación del Decodificador: El ajuste fino consciente de la estrategia de un decodificador local compacto (Llama-3.2-3B) mejora significativamente la calidad de reconstrucción en comparación con su contraparte zero-shot. En varias comparaciones, el modelo de 3B ajustado fino es competitivo con el Gemini 2.0 Flash zero-shot, particularmente en regímenes de baja retención donde aprender los patrones de eliminación específicos es crucial.

Análisis Transversal y de Fallos

• Generalización: El marco se transfiere a Wikipedia (enciclopédico), Reddit (conversacional) y conjuntos de datos en chino. Sin embargo, la regla de eliminación óptima sigue dependiendo del conjunto de datos. Por ejemplo, WordLen funciona mejor en texto conversacional (Reddit) que en noticias, mientras que los métodos semánticos muestran grados variables de ventaja dependiendo de la densidad de información del dominio.
• Fidelidad Factica: Aunque BERTScore mide la similitud semántica, el análisis de Reconocimiento de Entidades Nombradas (NER) revela que la eliminación uniforme de caracteres destruye anclajes factuales incluso cuando BERTScore parece aceptable. Los métodos híbridos generalmente preservan mejor las entidades en compresión leve, pero todos los métodos luchan en tasas de compresión extremas.
• Comparación con el Resumen: El resumen directo por LLM (reescribir el texto a una longitud objetivo) funciona significativamente peor que la pipeline de eliminación más reconstrucción en regímenes de alta retención, ya que pierde los tokens originales que sirven como anclajes para la reconstrucción.

Significado y Afirmaciones
El artículo afirma establecer el primer punto de referencia sistemático para la compresión con pérdida orientada a la reconstrucción y que preserva el texto. Su importancia radica en:

• Definir un Régimen Práctico: Identifica un punto de operación específico donde el artefacto comprimido debe permanecer como texto (para inspección humana o enrutamiento), pero la recuperación semántica aproximada es aceptable, distinguiéndose tanto de la codificación sin pérdida como de la codificación de vectores semánticos opacos.
• Líneas Base de Bajo Costo: Demuestra que la eliminación estática simple basada en frecuencia (WordFreq) es una línea base altamente competitiva y de bajo costo que a menudo supera a los métodos semánticos complejos en escenarios de compresión agresiva, ofreciendo una solución viable para entornos con limitaciones de ancho de banda o despliegue en el borde.
• Viabilidad del Decodificador Local: Muestra que el ajuste fino ligero y consciente de la estrategia puede hacer que los modelos locales compactos sean competitivos con modelos propietarios masivos zero-shot, habilitando rutas de despliegue local para la compresión semántica.
• Complementariedad: Los autores posicionan su método como complementario, en lugar de un reemplazo, de los códecs sin pérdida. Un esqueleto semántico puede comprimirse aún más utilizando algoritmos estándar sin pérdida (por ejemplo, zlib) para almacenamiento archivado.

El artículo limita explícitamente su alcance, señalando que el método es con pérdida por diseño y no es adecuado para dominios de alto riesgo que requieren fidelidad exacta (por ejemplo, registros legales o médicos). También reconoce que las evaluaciones actuales dependen de métricas automatizadas que pueden ser indulgentes con las alucinaciones factuales en tasas de retención muy bajas.