Resumo Técnico: SF-Re2G – Estruturas Facilitam Recuperação, Reclassificação e Geração

Declaração do Problema

Sistemas de diálogo fundamentados em documentos (DGDS) visam gerar respostas precisas aproveitando documentos externos. No entanto, as soluções existentes, como RAG e Re2G, tipicamente tratam os documentos como sequências textuais planas divididas em passagens independentes. Essa abordagem apresenta duas limitações críticas:

1. Problemas de Granularidade: Comprimentos de passagem fixos falham em acomodar necessidades de informação variáveis. Passagens longas introduzem ruído para consultas específicas, enquanto passagens curtas carecem de contexto suficiente para questões complexas.
2. Informação Estrutural Ignorada: Documentos frequentemente possuem estruturas hierárquicas inerentes (ex: tabelas, cabeçalhos de seção, etapas lógicas). Tratá-los como sequências planas rompe as conexões semânticas entre elementos relacionados (ex: um cabeçalho de tabela e sua célula correspondente), levando a uma seleção de conhecimento e geração de resposta subótimas.

Os métodos atuais ignoram amplamente essas pistas estruturais, resultando em gargalos de desempenho na recuperação do conhecimento correto e na geração de respostas coerentes.

Metodologia: SF-Re2G

Os autores propõem o SF-Re2G, um framework que integra sistematicamente a informação estrutural do documento nas três etapas principais do pipeline de DGDS: Recuperação, Reclassificação e Geração. O sistema modela documentos como grafos onde os nós representam passagens de comprimentos variados (ex: células de tabela, parágrafos).

1. Recuperação: Aprendizado Contrastivo Estrutural

O módulo de recuperação utiliza uma arquitetura Bi-encoder (baseada em DPR), mas introduz dois aprimoramentos principais para melhorar a representação da passagem e a amostragem de negativos:

• Agregação Top-Down: Inspirado no TreeJC, o modelo agrega informações de nível superior (como cabeçalhos de parágrafos e nomes de documentos) para aprimorar a representação de passagens individuais.
• Aprendizado Contrastivo Estrutural: Os autores reconhecem que passagens dentro da mesma seção de um grafo de documento são semanticamente semelhantes e difíceis de distinguir. Para abordar isso, introduzem uma estratégia de amostragem de negativos difíceis (hard negative sampling) onde as amostras negativas são extraídas do vizinhança da passagem positiva dentro da estrutura do documento. Isso força o modelo a aprender distinções semânticas mais finas entre nós vizinhos.
• Função de Perda: O modelo otimiza a log-verossimilhança negativa, incorporando negativos do lote (in-batch negatives) e os negativos difíceis amostrados estruturalmente.

2. Reclassificação: Pontuação Aprimorada pela Estrutura

O módulo de reclassificação emprega um Cross-Encoder para reclassificar os $k$ candidatos do estágio de recuperação.

• Construção de Subgrafo: Os candidatos recuperados são agrupados em subgrafos com base na estrutura do documento (ex: agrupando passagens da mesma ramificação do documento).
• Entrada Contextual: Em vez de pontuar uma passagem isoladamente, o reclassificador recebe a passagem central junto com suas passagens vizinhas dentro do mesmo subgrafo. O formato de entrada inclui tokens especiais ([core] para a passagem alvo e [others] para vizinhos) para distinguir o alvo de seu contexto.
• Mecanismo: Isso permite que o modelo aproveite as probabilidades de coocorrência; se uma passagem vizinha coincide com a consulta, ela eleva a pontuação da passagem central, e vice-versa.

3. Geração: Fusão de Pesos por Estrutura

O módulo de geração utiliza um modelo BART pré-treinado.

• Fusão Ponderada: O sistema adota um método de ponderação semelhante ao Re2G. A probabilidade de gerar um token é calculada somando as probabilidades do gerador condicionado a cada passagem recuperada, ponderadas pelas pontuações de reclassificação estruturalmente aprimoradas ($p_\eta$).
• Integração de Subgrafo: O gerador recebe o histórico do diálogo, a passagem central e o subgrafo sequencial ($G_{sub}$) como entrada. Isso permite que o modelo fundamente sua resposta não apenas no texto recuperado, mas também em seu contexto estrutural.
• Treinamento: O reclassificador e o gerador podem ser treinados conjuntamente sem a necessidade de ajuste fino adicional do backbone BART pré-treinado, utilizando os resultados gerados para corrigir os pesos atribuídos pelo reclassificador.

Principais Contribuições

1. Integração Estrutural Sistemática: Este trabalho é o primeiro a estudar e integrar sistematicamente a informação estrutural em todas as etapas (recuperação, reclassificação e geração) do pipeline de DGDS, em vez de isolá-la em módulos específicos.
2. Arquitetura Inovadora (SF-Re2G): Os autores introduzem um método que utiliza grafos de documentos para lidar com comprimentos de passagem variáveis e utiliza aprendizado contrastivo estrutural para uma melhor amostragem de negativos.
3. Validação Empírica: O método demonstra desempenho superior em comparação com abordagens de estado da arte em ambos os conjuntos de dados, MultiDoc2Dial (Inglês) e Doc2Bot (Chinês).

Resultados Experimentais

Os autores avaliaram o SF-Re2G em dois conjuntos de dados: MultiDoc2Dial (Inglês) e Doc2Bot (Chinês).

• Recuperação: A abordagem contrastiva estrutural (DPRstruct) melhorou o Recall@1 em aproximadamente 2% no MultiDoc2Dial e 1% no Doc2Bot em comparação ao DPR padrão.
• Reclassificação: O reclassificador aprimorado pela estrutura (CrossEncoderstruct) mostrou melhorias consistentes, particularmente no Doc2Bot, onde alcançou um aumento médio de ~1% em métricas (Recall@1, Recall@5, Recall@10, Rprec). No MultiDoc2Dial, onde a informação estrutural é menos distinta, os ganhos foram marginais.
• Geração: O SF-Re2G alcançou desempenho de estado da arte em ambos os conjuntos de dados em métricas F1, SacreBLEU e ROUGE. Notavelmente, os autores observaram que remover o contexto do subgrafo durante a geração prejudicou o desempenho no Doc2Bot (onde a estrutura é rica), mas melhorou ligeiramente o desempenho no MultiDoc2Dial. Isso sugere que o contexto estrutural é mais benéfico quando os documentos de origem possuem estruturas claras e significativas.

Significância e Alegações

O artigo afirma que a informação estrutural nos documentos é um recurso valioso e não negligenciável para DGDS. Os autores argumentam que os métodos atuais que ignoram esses elementos resultam em desempenho subótimo. Ao tratar os documentos como grafos e utilizar relações estruturais para aprendizado contrastivo e fusão de contexto, o SF-Re2G fornece um framework mais robusto para seleção de conhecimento e geração de resposta. Os resultados sugerem que pesquisas futuras neste domínio devem priorizar a exploração da estrutura do documento em vez de tratar os documentos como sequências de texto planas.