DWTSumm: Discrete Wavelet Transform for Document Summarization

1. O Problema

A sumarização de documentos longos e específicos de domínio (como registros clínicos e opiniões legais) utilizando Grandes Modelos de Linguagem (LLMs) enfrenta desafios significativos:

• Limitações de Contexto: Documentos que excedem a janela de contexto do modelo forçam truncamento ou compressão agressiva, levando à perda de informações.
• Alucinações e Inconsistência Factual: LLMs tendem a preencher lacunas de informação com conteúdo não suportado, especialmente em contextos onde a precisão factual é crítica (medicina e direito).
• Perda de Estrutura Semântica: Abordagens hierárquicas existentes frequentemente introduzem ruído ou perdem detalhes locais importantes ao tentar reduzir o tamanho do texto.

2. Metodologia: DWTSumm

Os autores propõem um framework de sumarização baseado na Transformada Discreta de Wavelet (DWT), uma técnica de processamento de sinais adaptada para representações semânticas de texto.

• Conceito Central: O texto é tratado como um "sinal semântico" discreto. A DWT decompõe esse sinal em múltiplas resoluções, separando-o em:
  • Coeficientes de Aproximação ($cA$): Capturam a estrutura global, o fluxo narrativo e o contexto de alto nível do documento.
  • Coeficientes de Detalhe ($cD$): Capturam variações semânticas localizadas, informações específicas de domínio e detalhes finos.
• Pipeline de 4 Estágios:
  1. Embedding: O documento de entrada é convertido em representações vetoriais contínuas (nível de sentença ou palavra) usando codificadores específicos de domínio (ex: BioClinical ModernBERT para medicina, modelos legais para direito).
  2. Decomposição DWT: Aplica-se uma DWT multinível aos vetores, gerando uma hierarquia de coeficientes. O nível de decomposição é escolhido com base no comprimento do documento e na taxa de compressão desejada.
  3. Recuperação e Mapeamento: Os coeficientes são mapeados de volta para sentenças representativas através de busca por vizinhos mais próximos no espaço de embeddings. Isso cria um "esqueleto semântico" compacto (de $cA$) e um conjunto de sentenças de detalhe salientes (de $cD$).
  4. Geração: A representação multirresolução resultante é usada de duas formas:
     • Como um resumo comprimido direto (refinado por um LLM).
     • Como um guia para o prompt do LLM, ancorando a geração abstrativa no contexto global e nos detalhes críticos, reduzindo a alucinação.

3. Principais Contribuições

1. Inovação na Aplicação: Primeiro trabalho a introduzir sistematicamente a compressão baseada em DWT para sumarização assistida por LLMs.
2. Preservação de Informação: Demonstra que a DWT preserva o contexto global e detalhes específicos de domínio enquanto reduz drasticamente o comprimento de entrada (comprimindo 50–75%).
3. Redução de Alucinações: A integração da DWT com LLMs melhora a fidelidade semântica e a consistência factual, atuando como um mecanismo de "desruído" semântico.
4. Generalização: O método é agnóstico ao modelo de embeddings, funcionando consistentemente com diferentes arquiteturas de representação vetorial.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois benchmarks principais: MultiClinSum (resumos clínicos) e CaseSumm (resumos legais).

• Métricas de Desempenho:
  • Fidelidade Semântica (Semantic Fidelity): O modelo híbrido (DWT + GPT-4o) alcançou ganhos superiores a 4% em fidelidade em relação à linha de base, atingindo até 97-98% em alguns cenários.
  • Consistência Factual: Houve melhoria significativa na consistência factual (pontuações de 5.0 em escalas de 1-5), superando a linha de base GPT-4o (que ficou em 4.0-4.4).
  • Semelhança Semântica (BERTScore): Ganhos consistentes de mais de 2% em BERTScore.
  • METEOR: Melhorias substanciais (ex: de 32.60 para 46.00 em clínicos; de 30.80 para 45.9 em legais), indicando a preservação de nuances semânticas de domínio.
  • ROUGE-L: Mantido comparável às linhas de base, demonstrando que a sobreposição lexical não foi sacrificada.
• Compressão: O framework alcançou taxas de compressão superiores a 60% (chegando a 87.5% em níveis de decomposição mais profundos) sem perda crítica de informação.
• Robustez: A abordagem manteve alto desempenho através de múltiplos modelos de embeddings (MedCPT, BioClinical-ModernBERT, etc.), provando que a DWT captura a estrutura semântica subjacente independentemente do vetor específico.

5. Significância e Conclusão

O trabalho estabelece a DWT como uma ferramenta poderosa e leve para o pré-processamento de documentos longos antes da geração por LLMs.

• Mecanismo de Desruído: A DWT atua filtrando conteúdo redundante ou de baixa saliência, permitindo que o LLM se concentre na síntese fluente de informações factualmente ancoradas.
• Eficiência Computacional: Ao decoplar a estruturação semântica da geração de linguagem, o método oferece uma solução escalável para documentos que excedem as janelas de contexto atuais.
• Aplicabilidade: É particularmente eficaz em domínios de alto risco (saúde e direito), onde a precisão factual e a integridade da informação são não negociáveis.

Em suma, o DWTSumm oferece um método generalizável e interpretável para superar as limitações de contexto e alucinação dos LLMs na sumarização de documentos complexos e longos.