💬 NLP

Building Open-Retrieval Conversational Question Answering Systems by Generating Synthetic Data and Decontextualizing User Questions

Este artigo propõe um pipeline para gerar automaticamente conjuntos de dados sintéticos e anotados de perguntas e respostas conversacionais de recuperação aberta (OR-CONVQA) a partir de documentos de texto simples, os quais são então utilizados para treinar reescritores de perguntas eficientes que permitem aos sistemas de recuperação existentes e aos grandes modelos de linguagem lidar com respostas conscientes do diálogo e fundamentadas em documentos.

Autores originais: Christos Vlachos, Nikolaos Stylianou, Alexandra Fiotaki, Spiros Methenitis, Elisavet Palogiannidi, Themos Stafylakis, Ion Androutsopoulos

Publicado 2026-08-07

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Christos Vlachos, Nikolaos Stylianou, Alexandra Fiotaki, Spiros Methenitis, Elisavet Palogiannidi, Themos Stafylakis, Ion Androutsopoulos

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar um fato específico em uma biblioteca enorme e empoeirada, mas está falando com um bibliotecário que nunca ouviu falar do layout da biblioteca. Se você perguntar: "Quanto custa isso?", o bibliotecário pode ficar confuso porque não sabe o que é "isso". Este é o cerne do problema da Resposta de Perguntas Conversacionais: os humanos falam com atalhos, usando palavras como "isso", "aquilo" ou "ele" que só fazem sentido se você se lembrar do que acabamos de conversar. Para resolver isso, os computadores usam um truque chamado Geração Aumentada de Recuperação (RAG). Pense no RAG como dar ao bibliotecário uma lupa mágica que encontra instantaneamente a página certa na biblioteca antes de ele responder. Mas aqui está o detalhe: o bibliotecário precisa saber como fazer a pergunta de forma clara para a lupa, e ele precisa de uma enorme pilha de conversas de prática para aprender a fazer isso.

O problema é que, para novos tópicos — como as regras de uma seguradora específica ou um novo manual de software — ninguém escreveu milhares de conversas de prática. Contratar pessoas para escrevê-las é lento, caro e entediante. Este artigo aborda exatamente essa dor de cabeça. Os autores propõem uma maneira inteligente de construir uma "academia de treinamento" para esses bibliotecários de IA usando apenas os documentos brutos que a empresa já possui. Eles não apenas copiam e colam frases; primeiro, eles decompõem os documentos em pequenos "cartões de fatos" cristalinos e claros (que eles chamam de proposições). Em seguida, eles usam uma IA superinteligente para imaginar o que um humano perguntaria sobre esses cartões, criando uma conversa falsa, mas realista. Eles descobriram que esse método de transformar documentos bagunçados em cartões de fatos limpos, e depois gerar conversas sintéticas a partir deles, torna o bibliotecário de IA muito melhor em encontrar as respostas certas do que se tivessem usado as frases brutas e bagunçadas diretamente.

A História da Fábrica de Conversas Sintéticas

Então, como você ensina um robô a ser um bom conversador quando você não tem um milhão de chats humanos reais para mostrar a ele? Os autores deste artigo construíram uma linha de montagem de duas etapas que transforma documentos entediantes em conversas de prática empolgantes e realistas.

Etapa 1: A Fábrica de Cartões de Fatos
Imagine que você tem um manual de instruções grosso para um novo videogame. Ele está cheio de frases longas e complicadas como: "Se você pressionar o botão vermelho enquanto segura o controle, o personagem saltará, mas apenas se a bateria estiver baixa". Isso é um pesadelo para um mecanismo de busca. O pipeline dos autores primeiro pega esses documentos e pede a uma IA poderosa (eles usaram um modelo chamado Claude 3.5) para decompô-los. A IA atua como uma editora meticulosa, cortando frases longas em cartões de fatos curtos e independentes. Ela remove referências confusas como "isso" ou "aquilo" e garante que cada cartão seja um pensamento completo e autossuficiente.
Crucialmente, a IA é instruída a fazer cartões apenas para coisas que um humano realmente se importaria em perguntar. Ela ignora partes chatas como "Contate-nos em 555-0199", a menos que alguém possa realmente perguntar sobre isso. A partir de sua coleção de documentos, eles geraram mais de 11.000 cartões de fatos para seus dados privados de empresa e mais de 14.000 para documentos governamentais públicos. Esses cartões tornam-se a "verdade" através da qual o bibliotecário de IA eventualmente pesquisará.

Etapa 2: O Simulador de Conversa
Agora que eles têm uma pilha de cartões de fatos, o pipeline pede à IA para imaginar uma conversa. Ela escolhe um pequeno grupo desses cartões e diz: "Finja que um humano está fazendo perguntas sobre esses fatos". A IA gera um chat de ida e volta. Aqui está o truque de mágica: para cada pergunta que o "humano" faz, a IA escreve duas versões.

A Versão Humana Real: É como uma pessoa realmente fala, cheia de atalhos. "Quanto custa isso?" (referindo-se a algo mencionado anteriormente).
A Versão Clara: É a mesma pergunta reescrita para fazer total sentido por si só, como "Quanto custa a apólice de seguro?".
O sistema também mantém o controle exato de quais cartões de fatos foram usados para responder a cada pergunta. Isso cria um conjunto de dados de treinamento perfeito onde o computador conhece a pergunta bagunçada, a versão clara, a resposta e a fonte.

Por que "Cartões de Fatos" vencem as "Frases Brutas"

Os autores não pararam apenas em criar conversas inventadas; eles testaram uma grande hipótesia. Eles queriam saber: é melhor treinar a IA usando esses cartões de fatos limpos ou deveriam apenas cortar os documentos originais em frases e usá-los?

Pense nisso como procurar uma agulha em um palheiro. Se você usar as frases brutas, o palheiro estará cheio de palha extra — palavras irrelevantes, explicações longas e contexto confuso. Se você usar os cartões de fatos, você já removeu a palha e deixou apenas as agulhas.
Quando testaram isso, os resultados foram claros. As conversas construídas a partir dos cartões de fatos limpos levaram a resultados de busca muito melhores. A IA conseguia encontrar a informação correta significativamente mais rápido e com mais precisão. Em contraste, usar as frases brutas era como tentar encontrar uma agulha em um palheiro que havia sido colado; o mecanismo de busca ficava confuso com o ruído. Os autores descobriram que, embora as frases brutas fossem boas para manter o fluxo da conversa suavemente, elas eram terríveis para ajudar a IA a realmente encontrar a resposta.

Ensinando o Robô a Pensar por Si Mesmo

Uma vez que tiveram essas milhares de conversas sintéticas, eles as usaram para treinar modelos de IA "leves". Estes são computadores menores, mais rápidos e mais baratos em comparação com os gigantes super-IAs usados para gerar os dados.
Eles treinaram dois tipos de ajudantes:

O Reescritor: Um modelo pequeno que aprende a pegar uma pergunta bagunçada e carregada de contexto ("Quanto custa isso?") e transformá-la em uma clara ("Quanto custa o seguro?").
O Recuperador: Um modelo pequeno que aprende a olhar para a pergunta clara e encontrar instantaneamente o cartão de fatos correto na biblioteca.

Os resultados foram impressionantes. Os modelos pequenos e baratos tiveram um desempenho tão bom quanto o uso da IA gigante para fazer a reescrita a cada vez. De fato, em alguns testes, o modelo pequeno treinado nos dados sintéticos deles foi até melhor do que um modelo treinado em conjuntos de dados massivos escritos por humanos que são difíceis de obter.

Eles também descobriram um atalho interessante. Eles ensinaram o reescritor a verificar se uma pergunta já era clara. Se o usuário perguntasse "Qual é o preço da apólice?" (que já é clara), o reescritor aprendeu a dizer "Nenhuma reescrita necessária" e pular a etapa. Isso economizou tempo, cortando o tempo de processamento pela metade para muitas perguntas.

Isso funciona no mundo real?

Para garantir que isso não fosse apenas um método que funcionava em dados falsos, eles testaram seu sistema em conjuntos de dados do mundo real de sites governamentais (como seguros e auxílio estudantil). Eles descartaram os dados de treinamento escritos por humanos desses conjuntos de dados reais para provar que seu método poderia funcionar do zero.
Os resultados se mantiveram. Seus modelos pequenos, treinados apenas nas conversas sintéticas que geraram, foram capazes de encontrar as respostas certas em documentos do mundo real muito melhor do que se tivessem usado as perguntas brutas e bagunçadas. Embora usar uma IA gigante para reescrever perguntas em tempo real fosse ligeiramente melhor, também era muito mais lento e caro. Seus modelos pequenos treinados ofereceram um ponto ideal: rápidos, baratos e altamente precisos.

A Conclusão

O artigo sugere que não precisamos esperar que os humanos escrevam milhões de conversas perfeitas para construir assistentes de IA inteligentes. Em vez disso, podemos pegar os documentos que já temos, transformá-los em fatos limpos e em doses pequenas, e deixar uma IA poderosa imaginar as conversas. Esses dados sintéticos são bons o suficiente para treinar modelos menores e mais rápidos que podem lidar com perguntas do mundo real de forma eficaz.

No entanto, os autores ressaltam cuidadosamente que isso não é uma varinha mágica. Seu sistema ainda depende de uma IA grande e cara para gerar os dados de treinamento iniciais. E embora os modelos pequenos sejam ótimos para encontrar respostas, eles ainda precisam da IA grande para realmente escrever a resposta final para o usuário. Mas para a parte difícil de encontrar a informação certa em um mar de documentos, essa abordagem de "fábrica sintética" parece ser um divisor de águas, transformando manuais bagunçados em conhecimento claro e pesquisável sem precisar de uma equipe de anotadores humanos.

Resumo Técnico: Construção de Sistemas de Resposta a Perguntas Conversacionais de Recuperação Aberta através da Geração de Dados Sintéticos e Descontextualização de Perguntas de Usuários

Definição do Problema

O artigo aborda o desafio da Resposta a Perguntas Conversacional de Recuperação Aberta (OR-CONVQA), uma tarefa onde um sistema deve gerar respostas que sejam tanto conscientes do histórico do diálogo quanto fundamentadas em documentos recuperados. Embora a Geração Aumentada de Recuperação (RAG) seja eficaz para fundamentar Grandes Modelos de Linguagem (LLMs), a OR-CONVQA introduz dois obstáculos específicos:

Complexidade Contextual: As perguntas dos usuários frequentemente contêm elipses ou correferência (ex: "E quanto ao preço?"), exigindo que o sistema as resolva usando o histórico do diálogo. Confiar apenas na última consulta pode resultar em resultados de recuperação subótimos.
Escassez de Dados: Conjuntos de dados de treinamento de alta qualidade e específicos de domínio com anotações manuais são difíceis e caros de obter. Os métodos existentes de geração de dados sintéticos geralmente dependem de suposições irreais, como um mapeamento um-para-um entre sentenças de documentos e perguntas de usuários, ou exigem dados anotados manualmente adicionais para o ajuste fino (fine-tuning).

Metodologia

Os autores propõem um pipeline de duas etapas para gerar diálogos OR-CONVQA sintéticos, anotados e realistas a partir de documentos específicos de domínio (ex: documentação de produtos) sem a necessidade de qualquer anotação manual pré-existente.

Etapa 1: Geração de Proposições
Em vez de usar sentenças brutas de documentos, o pipeline instrui um LLM (especificamente o Claude 3.5 Sonnet) a extrair proposições.

Restrições: As proposições são sentenças simples e autossuficientes que expressam informações proeminentes dos documentos.
Seleção: O LLM é instruído a gerar proposições apenas para informações que provavelmente seriam questionadas por um usuário, filtrando conteúdo irrelevante ou trivial.
Estrutura: Os documentos são divididos em blocos de $n$ proposições (ex: $n=30$ ), que podem abranger múltiplos documentos. Isso cria um pool de recuperação de unidades limpas e densas em informação, em vez de texto bruto.

Etapa 2: Geração de Diálogo Sintético
Usando as proposições amostradas, o mesmo LLM gera diálogos através de três sub-prompts:

Geração de Diálogo: Cria um par de turno usuário-sistema onde a pergunta do usuário é gerada inicialmente como descontextualizada (autossuficiente).
Contextualização: O LLM cria uma versão contextualizada da pergunta do usuário (ex: adicionando pronomes baseados no histórico) para simular uma conversa real.
Verificação de Verdade Fundamental (Ground Truth): O LLM identifica quais proposições fundamentam cada par de pergunta-resposta e gera um token (accepted ou not_accepted). Pares marcados como rejeitados são descartados. Para garantir a consistência, as proposições geradas nesta etapa são substituídas por suas correspondentes mais próximas da Etapa 1 usando BM25.

Arquitetura do Sistema

Os dados sintéticos gerados são usados para treinar modelos leves para dois componentes:

Reescritor de Perguntas: Um modelo leve (ex: T5) ajustado para converter perguntas de usuários contextualizadas em consultas descontextualizadas.
Recuperador (Retriever): Um Sentence Transformer leve (MiniLM) ajustado para recuperar proposições relevantes do repositório.
Gerador de Resposta: Um LLM maior (LLaMA-8B) é instruído com as proposições recuperadas e a pergunta do usuário para gerar a resposta final. Os autores também propõem um mecanismo de reescrita condicional onde o reescritor prevê um token no_rewrite se a pergunta de entrada já for autossuficiente, reduzendo a latência de inferência.

Principais Contribuições

Pipeline de Dados Sintéticos: Um pipeline inovador que gera diálogos OR-CONVQA sintéticos e anotados de alta qualidade a partir de documentos de domínio sem anotação manual, evitando a suposição de um-para-um de sentença-para-pergunta de trabalhos anteriores.
Proposições sobre Sentenças: Demonstração de que converter documentos em "proposições" antes da geração de diálogos produz um desempenho de recuperação superior em comparação ao uso de sentenças brutas de documentos.
Ajuste Fino Eficiente: Evidência de que dados sintéticos podem efetivamente ajustar modelos leves (T5, MiniLM) para reescrita de perguntas e recuperação, alcançando desempenho comparável ao uso de prompting de grandes LLMs para reescrita.
Lançamento Público: Os autores disponibilizam seu código-fonte e um conjunto de dados OR-CONVQA sintético para facilitar pesquisas futuras.

Resultados Experimentais

Os autores avaliaram sua abordagem em documentos proprietários (dados de call center) e conjuntos de dados públicos (DOC2DIAL, MULTIDOC2DIAL).

Proposições vs. Sentenças: Embora as pontuações de coerência de diálogo tenham sido semelhantes, os diálogos baseados em proposições superaram significativamente os diálogos baseados em sentenças em métricas de recuperação (Precisão Média e Recall). Isso sugere que as proposições fornecem informações mais claras e proeminentes para a recuperação.
Reescrita e Recuperação:
- Reescritores leves ajustados (T5) alcançaram pontuações de recuperação comparáveis ao uso de consultas descontextualizadas de "verdade fundamental" geradas pelo LLM.
- Ajustar um recuperador (MiniLM) em dados sintéticos provou ser mais eficaz do que apenas a reescrita de consultas, igualando o desempenho das consultas descontextualizadas de verdade fundamental.
- Ambas as abordagens superaram substancialmente o uso de perguntas contextualizadas brutas (com ou sem concatenação de histórico).
Desempenho no Mundo Real: Nos conjuntos de teste do mundo real (DOC2DIAL/MULTIDOC2DIAL), o reescritor T5 e o recuperador MiniLM treinados com dados sintéticos melhoraram significamente o desempenho de recuperação em relação aos baselines.
Geração de Resposta: O uso do recuperador ajustado (MiniLM) com histórico de diálogo proporcionou melhores pontuações de geração de resposta (SacreBLEU, METEOR, BERTScore) do que o uso apenas de consultas descontextualizadas de verdade fundamental, provavelmente porque o histórico forneceu contexto adicional ao Response-LLM.
Eficiência: O mecanismo de reescrita condicional reduziu o tempo médio de geração em aproximadamente 50% (ex: de 0.19s para 0.09s para diálogos proprietários) sem sacrificar o desempenho.

Significância e Alegações

O artigo afirma que seu pipeline oferece uma solução prática para o problema da escassez de dados em OR-CONVQA de domínio específico. Ao alavancar a abundância de documentos organizacionais existentes, ele permite a criação de dados de treinamento realistas sem esforço manual. Os autores enfatizam que as proposições servem como uma representação intermediária superior para a geração de dados sintéticos, levando a melhores resultados de recuperação. Além disso, o trabalho demonstra que modelos leves ajustados com esses dados sintéticos podem substituir o prompting caro e em tempo real de LLMs para tarefas de reescrita de consultas e recuperação, ofereção uma alternativa de baixo custo e eficiente para implantar agentes conversacionais em novos domínios.

Os autores permanecem modestos quanto às limitações, reconhecendo que o pipeline depende de LLMs caros para a geração de dados e que a geração de respostas ainda depende atualmente do prompting de LLMs maiores, já que experimentos preliminares mostraram que o ajuste fino de geradores leves teve desempenho inferior.