DWTSumm: Discrete Wavelet Transform for Document Summarization

Resumen Técnico: DWTSumm

1. El Problema

La síntesis de documentos largos y específicos de un dominio (como registros clínicos o opiniones legales) utilizando Modelos de Lenguaje Grande (LLMs) enfrenta desafíos críticos:

• Limitaciones de contexto: Los documentos a menudo exceden la ventana de contexto de los modelos, obligando a la truncación o a la compresión agresiva.
• Pérdida de información y alucinaciones: Las estrategias jerárquicas actuales (segmentación y fusión recursiva) tienden a introducir alucinaciones y pérdida de datos factuales, especialmente en entornos donde la precisión es vital (medicina, derecho).
• Falta de anclaje factual: Los LLMs a menudo llenan vacíos informativos con contenido no soportado, comprometiendo la fiabilidad de los resúmenes.

2. Metodología Propuesta

Los autores proponen un marco de resumen híbrido basado en la Transformada Discreta de Wavelet (DWT), una técnica de procesamiento de señales adaptada al lenguaje natural.

• Concepto Central: Tratan el texto como una señal semántica discreta. En lugar de procesar el texto plano, aplican la DWT a las representaciones vectoriales (incrustaciones) de las oraciones o palabras.
• Descomposición Multirresolución:
  • La DWT descompone la señal en dos componentes:
    1. Coeficientes de Aproximación ($cA$): Capturan la estructura semántica global y el flujo narrativo del documento (bajas frecuencias).
    2. Coeficientes de Detalle ($cD$): Capturan información localizada, específica del dominio y variaciones semánticas salientes (altas frecuencias).
• Proceso de 4 Etapas:
  1. Codificación: El documento se incrusta utilizando un codificador específico del dominio (ej. BioClinical ModernBERT para medicina, modelos legales para derecho).
  2. Transformación: Se aplica una DWT multinivel para generar una jerarquía de coeficientes.
  3. Recuperación: Los coeficientes se mapean de nuevo a oraciones representativas mediante búsqueda de vecinos más cercanos en el espacio de incrustaciones. Esto genera un "esqueleto semántico" compacto.
  4. Generación: Esta representación comprimida se utiliza de dos formas:
     • Directamente como un resumen comprimido.
     • Como guía (prompt) para un LLM (ej. GPT-4o) para generar un resumen abstractivo, asegurando que el modelo esté anclado tanto en el contexto global como en los detalles críticos.

3. Contribuciones Clave

1. Nuevo Marco de Compresión: Introducción del primer marco sistemático que utiliza la compresión basada en DWT para la síntesis de documentos largos con LLMs.
2. Preservación Estructural: Demostración de que la DWT preserva el contexto global y los detalles específicos del dominio mientras reduce la longitud de entrada en un 50-75%.
3. Reducción de Alucinaciones: Evidencia de que integrar DWT con LLMs mejora la fidelidad semántica y la consistencia factual, actuando como un mecanismo de "desruido" semántico.
4. Generalización: Validación del enfoque en dos dominios críticos y diversos: resumen clínico y resumen legal.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos MultiClinSum (clínico) y CaseSumm (legal), comparando el enfoque DWT (solo) y el híbrido (DWT + GPT-4o) contra una línea base de GPT-4o.

• Métricas de Calidad:
  • Fidelidad Semántica: El enfoque DWT+GPT logró mejoras superiores al 4% en métricas de fidelidad (hasta un 97-98% en ciertos modelos de incrustación), indicando una retención excepcional de la información original.
  • Consistencia Factual: Se observaron mejoras significativas en la consistencia factual (hasta 5.0/5.0 en escalas legales), reduciendo drásticamente las alucinaciones.
  • Similitud Semántica: Mejoras de más del 2% en BERTScore en comparación con la línea base.
  • ROUGE-L: Los puntajes se mantuvieron comparables a las líneas base fuertes, demostrando que no se sacrifica la superposición superficial de palabras.
  • METEOR: Mejoras sustanciales (ej. +13 puntos en legal), lo que sugiere una mejor preservación de las matices semánticos del dominio.
• Eficiencia: Se lograron ratios de compresión superiores al 60-87% sin pérdida crítica de información.
• Robustez: El método funcionó consistentemente bien a través de múltiples modelos de incrustación (BioClinical, MedCPT, Legal-English), demostrando que es agnóstico al modelo subyacente.

5. Significado e Impacto

• Enfoque Ligero e Interpretable: A diferencia de los métodos que requieren entrenamiento pesado o ventanas de contexto masivas, la DWT ofrece un mecanismo de preprocesamiento ligero, determinista y basado en reglas (no aprendido), que es interpretable.
• Solución al "Problema de lo Perdido en el Medio": Al reestructurar documentos largos en representaciones compactas que separan lo global de lo local, la DWT mitiga el problema de que los LLMs ignoren información crítica en el medio de secuencias largas.
• Aplicabilidad en Dominios Críticos: El método ofrece una vía viable para la síntesis fiable en sectores donde la precisión factual es no negociable (salud y justicia), permitiendo a los LLMs operar sobre representaciones densas y ancladas en hechos en lugar de texto crudo y redundante.

En conclusión, DWTSumm demuestra que la compresión semántica estática mediante transformadas de wavelet puede mejorar significativamente la fiabilidad, la fidelidad y la eficiencia de los sistemas de resumen de documentos largos, actuando como un complemento esencial para los LLMs.