ThreadSumm: Summarization of Nested Discourse Threads Using Tree of Thoughts

Título: ThreadSumm: Sumarização de Fios de Discussão Aninhados Usando Árvore de Pensamentos

1. O Problema

A sumarização de discussões em fóruns online (como Reddit, Stack Overflow e fóruns especializados) apresenta desafios únicos que os sumarizadores de texto tradicionais e modelos de linguagem (LLMs) padrão não conseguem resolver eficazmente. As principais dificuldades incluem:

• Estrutura Aninhada Complexa: As discussões não são lineares; possuem uma estrutura de árvore com respostas, citações e reposts que criam múltiplos ramos de tópicos.
• Interleaving (Intercalação) de Tópicos: Respostas fora do tópico principal frequentemente se misturam com as continuações do autor original, "enterrando" o conteúdo principal.
• Sobreposição e Interrupção: Em conversas multipartes, os falantes interrompem uns aos outros e os turnos se sobrepõem, tornando difícil inferir a quem uma resposta se destina apenas pela ordem linear.
• Viés Posicional: Métodos tradicionais tendem a favorecer o início do documento, ignorando pontos de vista importantes que aparecem em ramos profundos da discussão.
• Falta de Coerência e Cobertura: Abordagens existentes frequentemente produzem resumos que carecem de fluxo lógico ou que omitem perspectivas minoritárias e aspectos cruciais da discussão.

2. Metodologia: ThreadSumm

Os autores propõem o ThreadSumm, um pipeline multi-estágio baseado em LLMs que trata a sumarização como um problema de raciocínio hierárquico. A abordagem não depende de uma ordem pré-definida do fio de discussão, mas sim constrói uma narrativa coerente através das seguintes etapas:

1. Extração de Aspectos (Aspect Extraction):

   • O LLM identifica os "aspectos" fundamentais da discussão (quem, o quê, onde), garantindo que o resumo cubra múltiplas facetas do documento fonte e não apenas os tópicos mais frequentes.

2. Geração de Unidades de Conteúdo Atômicas (ACUs):

   • Para cada aspecto extraído, o modelo gera "Unidades de Conteúdo Atômicas" (ACUs). Uma ACU é uma declaração semântica autocontida que não pode ser dividida sem perder o significado. Isso permite um nível granular de processamento e poda de informações irrelevantes.

3. Reordenação de Sentenças (Sentence Ordering):

   • As ACUs geradas são reordenadas pelo LLM (usando zero-shot prompting) para criar um fluxo lógico e coerente. Isso supera a dependência de metadados (como carimbos de tempo) ou heurísticas simples, que falham em estruturas de discussão complexas onde o conteúdo importante pode estar em qualquer lugar da cadeia de respostas.

4. Escrita de Parágrafos e Busca Árvore de Pensamentos (ToT):

   • Esta é a etapa central. O modelo gera múltiplos candidatos a parágrafos a partir das ACUs reordenadas.
   • Utiliza-se o algoritmo Tree of Thoughts (ToT) para explorar iterativamente diferentes caminhos de reordenação e seleção de parágrafos.
   • Otimização Conjunta: Cada candidato é avaliado por um LLM com base em duas métricas principais:
     • Cobertura (Coverage): Quão bem o resumo inclui as informações importantes e aspectos extraídos.
     • Coerência (Coherence): A conectividade das ideias e o fluxo lógico.
   • O processo seleciona o melhor candidato e itera, refinando a saída para maximizar ambos os critérios simultaneamente.

3. Contribuições Principais

• Novo Framework Multi-estágio: Introdução do ThreadSumm, que integra extração de aspectos, ACUs e busca ToT em um pipeline controlável especificamente para discursos aninhados.
• Planejamento de Conteúdo Consciente do Fio: A camada de planejamento (Aspectos + ACUs) alimenta a busca ToT, permitindo que o modelo "veja" a estrutura da discussão antes de gerar o texto final.
• Abordagem sem Metadados: O sistema é agnóstico a metadados, dependendo apenas do conteúdo textual para inferir a estrutura e a ordem lógica, tornando-o robusto para cenários do mundo real onde metadados podem estar faltando.
• Validação Empírica: Extensos experimentos demonstrando superioridade sobre baselines em múltiplos modelos (GPT-4, Claude, LLaMA) e domínios.

4. Resultados e Avaliação

Os experimentos foram realizados em três conjuntos de dados (Reddit, Stack Overflow e um fórum de Bitcoin) e comparados com baselines como Vanilla (prompt simples), arg-graph, CHRONOS e mRedditSumm.

• Desempenho Geral: O ThreadSumm superou consistentemente todas as baselines em quase todas as métricas (QAGS, SummaC, ROUGE-1) em todos os modelos e datasets.
  • Exemplo: No dataset Reddit com o modelo GPT-4, o ThreadSumm alcançou 50.34 no QAGS, contra 41.49 do próximo melhor (CHRONOS).
• Retenção de Aspectos e Diversidade de Opinião:
  • O método demonstrou a melhor retenção de aspectos (quem, o quê, onde) e maior cobertura de clusters de opinião divergentes, evitando o viés de focar apenas nas opiniões mais populares ou repetidas.
• Avaliação Humana:
  • Anotadores humanos classificaram os resumos do ThreadSumm significativamente superiores em Coerência (4.6/5) e Cobertura (4.9/5) em comparação com as baselines.
• Análise de Viés Posicional:
  • O método mostrou-se robusto contra o viés posicional, cobrindo sentenças importantes independentemente de sua posição no fio de discussão original.
• Estudo de Ablação:
  • A remoção de qualquer componente (Extração de Aspectos, Reordenação ou ToT) resultou em queda drástica de desempenho, especialmente na coerência (SummaC) e consistência factual (QAGS). O componente Tree of Thoughts foi identificado como o mais impactante para a qualidade geral.

5. Significância e Conclusão

O trabalho do ThreadSumm representa um avanço significativo na sumarização de documentos não estruturados e complexos. Ao transformar a sumarização de um problema de seleção de texto em um problema de raciocínio hierárquico e busca estruturada, os autores conseguem:

1. Preservar a integridade lógica de discussões onde múltiplos pontos de vista se entrelaçam.
2. Garantir que resumos não sejam apenas "resumos de linhas iniciais", mas representações completas e equilibradas da conversa.
3. Oferecer uma solução escalável que funciona bem mesmo com modelos de linguagem abertos (como LLaMA), não dependendo exclusivamente de modelos proprietários caros.

Limitações: O método atualmente foca apenas em dados textuais em inglês e não considera multimodalidade (imagens). Além disso, a avaliação interna depende de LLMs para pontuar coerência e cobertura, o que pode introduzir viés do próprio modelo gerador.

Em suma, o ThreadSumm estabelece um novo paradigma para lidar com a complexidade de discussões online, demonstrando que a aplicação de técnicas de raciocínio avançado (ToT) sobre unidades de conteúdo atômicas é essencial para gerar resumos de alta qualidade em ambientes de discurso aninhado.