💻 computer science

A Retrieval-Augmented Generation Method for Industrial Documents based on Reinforcement Learning

Este artigo propõe o RLo-RAG, um modelo de Geração Aumentada por Recuperação de Múltiplas Rodadas baseado em Aprendizado por Reforço aprimorado com LoRA, que utiliza uma função de recompensa dinâmica para recuperar iterativamente fragmentos de documentos de alta relevância e melhora significativamente a precisão da recuperação e a qualidade da geração para documentos industriais em comparação com os métodos tradicionais de RAG.

Autores originais: Ling WeiQing, Yongqi Zhi

Publicado 2026-09-15

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ling WeiQing, Yongqi Zhi

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo industrial moderno, fábricas e empresas de engenharia geram montanhas de documentos complexos. Estes não são manuais simples, mas coleções densas de relatórios técnicos, registros de equipamentos e registros de testes que detêm a chave para resolver problemas críticos. Durante décadas, encontrar informações específicas dentro desses vastos arquivos foi uma tarefa lenta e manual, muitas vezes dependendo da memória pessoal ou da experiência de um funcionário. Recentemente, poderosos programas de computador conhecidos como modelos de linguagem de grande escala ofereceram um novo caminho a seguir. Esses modelos podem ler e compreender a linguagem humana com uma habilidade notável, agindo como um assistente superinteligente. No entanto, quando questionados sobre detalhes industriais específicos, esses assistentes frequentemente têm dificuldade porque foram treinados em dados gerais da internet, não nos registros especializados e fragmentados de um chão de fábrica. Para corrigir isso, pesquisadores desenvolveram um método chamado geração aumentada por recuperação, que funciona fazendo com que o computador procure fatos relevantes em um banco de dados privado antes de responder a uma pergunta. No entanto, mesmo este método melhorado frequentemente falha quando uma pergunta exige conectar pontos entre múltiplos documentos, levando a respostas incompletas ou confusas.

Uma equipe de pesquisadores da Universidade de Tongji abordou esse desafio específico ao criar um novo sistema projetado para lidar com a natureza desordenada e fragmentada do conhecimento industrial. Eles chamam sua abordagem de RLo-RAG, um método que combina o poder dos modelos de linguagem de grande escala com uma técnica de aprendizado conhecida como aprendizado por reforço. Em termos simples, o aprendizado por reforço é uma forma de ensinar um programa de computador permitindo que ele tente diferentes ações e o recompensando quando faz uma boa escolha, muito parecido com treinar um cachorro com petiscos para um comportamento correto. Neste sistema, o computador atua como um agente curioso que não apenas busca uma resposta uma única vez. Em vez disso, ele faz uma série de perguntas, aprende com os resultados de cada busca e refina sua próxima pergunta para preencher as peças de informação que faltam. Esse processo continua até que o computador sinta que reuniu evidências suficientes para construir uma resposta completa e precisa.

Os pesquisadores descobriram que os documentos industriais frequentemente sofrem de um problema chamado fragmentação semântica. Isso significa que a informação necessária para responder a uma única pergunta está espalhada por diferentes seções, tabelas e até arquivos separados. Uma busca tradicional pode encontrar um parágrafo descrevendo um procedimento de teste, mas perder os números específicos localizados em uma tabela em outra página. O novo sistema resolve isso usando um sistema de recompensa dinâmica. À medida que o computador pesquisa, ele recebe feedback baseado em três fatores: o quão relevante é a informação encontrada, se ele está repetindo informações que já viu e o quão rápido ele está encontrando a resposta. Se o computador encontra um documento altamente relevante, ele recebe uma recompensa. Se ele desperdiça tempo olhando para a mesma informação duas vezes, recebe uma penalidade. Crucialmente, o sistema ajusta essas recompensas ao longo do tempo. Nos estágios iniciais do aprendizado, ele foca fortemente em encontrar informações de alta qualidade, mas, à medida que melhora, aprende a equilibrar a busca por boas informações com a finalização da tarefa de forma eficiente.

Para testar essa ideia, os pesquisadores construíram um sistema protótipo e o treinaram usando uma técnica chamada LoRA, que permite ensinar habilidades específicas ao computador sem a necessidade de reconstruir todo o seu "cérebro" do zero. Eles testaram o sistema em dois conjuntos de dados bem conhecidos, projetados para desafiar computadores com perguntas que exigem a conexão de múltiplos fatos. Os resultados mostraram que seu novo método superou significativamente as abordagens existentes. Enquanto métodos mais antigos frequentemente perdiam detalhes importantes ou ficavam presos em loops de busca da mesma informação, o novo sistema recuperou com sucesso as peças corretas de informação em 88,9 por cento dos casos em um dos conjuntos de teste. Ele também gerou respostas que foram mais precisas e melhor organizadas do que as produzidas por outros modelos avançados. Os pesquisadores observaram que a capacidade do sistema de decidir quando parar de pesquisar e quando continuar procurando foi um fator chave para o seu sucesso, evitando que perdesse tempo enquanto garantia que não deixasse de fora fatos importantes.

A equipe também comparou seu método com outras formas de usar o aprendizado por reforço para ver se sua abordagem específica era a melhor escolha. Eles descobriram que sua estratégia, que equilibra cuidadosamente o processo de aprendizado do computador, era mais estável e eficaz do que outros métodos populares. Essa estabilidade é vital em ambientes industriais onde uma resposta errada poderia levar a erros dispendiosos. Ao usar um ajuste suave e passo a passo de seus objetivos de aprendizado, o sistema evitou a confusão que pode ocorrer quando um computador tenta aprender muitas coisas ao mesmo tempo. Os pesquisadores validaram essas descobertas realizando seus experimentos várias vezes para garantir que os resultados fossem consistentes e não apenas um golpe de sorte. Eles também demonstraram a capacidade do sistema com um exemplo do mundo real envolvendo a fabricação de aeronaves civis, mostrando como ele poderia reunir informações sobre requisitos de testes elétricos a partir de textos, tabelas e diagramas para fornecer uma resposta completa.

Embora o sistema mostre grande potencial, os pesquisadores reconhecem que ainda há trabalho a ser feito. Atualmente, o sistema depende de descrições textuais para fazer a ligação com imagens e tabelas, o que significa que ele entende que um parágrafo menciona um gráfico específico, mas não analisa profundamente o conteúdo visual desse gráfico em si. Melhorias futuras poderiam permitir que o sistema "visse" e compreendesse as imagens e diagramas diretamente, em vez de apenas ler o texto que aponta para eles. Apesar dessa limitação, o estudo demonstra um avanço significativo em tornar a inteligência artificial útil para tarefas industriais complexas e do mundo real. Ao ensinar os computadores a pensar mais como especialistas humanos — iterando, verificando seu trabalho e sabendo quando têm informações suficientes — os pesquisadores criaram uma ferramenta que pode ajudar fábricas e engenheiros a desbloquear o valor total de seus vastos arquivos de documentos.

Resumo Técnico: RLo-RAG para Documentos Industriais

1. Definição do Problema

O artigo aborda o desafio crítico da fragmentação de conhecimento e da recuperação incompleta em documentos industriais complexos (ex: manuais de equipamentos, relatórios técnicos, registros de testes). Embora os Grandes Modelos de Linguagem (LLMs) combinados com a Geração Aumentada por Recuperação (RAG) ofereçam um caminho para o reuso de conhecimento industrial, os métodos existentes enfrentam limitações significativas:

Fragmentação Semântica: Documentos industriais contêm referências aninhadas, citações entre documentos e dados quantitativos dispersos (tabelas, figuras) que a recuperação de passo único tradicional muitas vezes não consegue capturar.
Recuperação Estática: Métodos de RAG multi-passo existentes (ex: estratégias de iteração fixa ou seleção de caminho rígida) têm dificuldade em processar associações semânticas dinâmicas entre seções.
Alucinação e Precisão: LLMs padrão sofrem com alucinações em domínios verticais, e os sistemas RAG atuais carecem de adaptabilidade para refinar iterativamente as consultas para reunir todas as evidências necessárias antes de gerar uma resposta.
Compromisso entre Eficiência e Qualidade: As abordagens atuais frequentemente falham em equilibrar a completude da recuperação com a eficiência computacional, levando a recuperações redundantes ou interrupções prematuras.

2. Metodologia: RLo-RAG

Os autores propõem o RLo-RAG (Reinforcement Learning with LoRA-enhanced Multi-Round Retrieval Augmented Generation), um framework projetado para otimizar o processo de recuperação através de um Processo de Decisão de Markov (MDP).

Arquitetura Central

O sistema consiste em três componentes principais:

Recuperador de Consulta (Querier): Uma rede de política ajustada via Aprendizado por Reforço (RL) para gerar consultas de busca iterativas baseadas no estado atual.
Recuperador (Retriever): Um recuperador padrão baseado em similaridade de cosseno que busca os top-k chunks da base de conhecimento.
Gerador (Generator): Um LLM que sintetiza a resposta final assim que o processo de recuperação é concluído.

Componentes Técnicos Principais

A. Recuperação Multi-Round como um MDP

O processo de recuperação é formalizado como uma interação sequencial entre um agente e o ambiente:

Espaço de Estados ( $S$ ): Composto pela consulta original do usuário ( $q_0$ ), informações de recuperação histórica ( $HRI$ incluindo consultas passadas e chunks recuperados) e um conjunto de parágrafos não recuperados, mas relevantes ( $SP$ ).
Espaço de Ações: A geração de uma declaração de consulta refinada ( $q_i$ ) pelo Querier.
Transição: O recuperador busca novos chunks ( $p_i$ ) baseados em $q_i$ , atualizando o $HRI$ e removendo itens recuperados do $SP$ . O processo continua até que um "Calculador de Processo" determine que a informação é suficiente ou que o número máximo de rodadas seja atingido.

B. Aprendizado por Reforço com LoRA

Para evitar o alto custo do ajuste fino de parâmetros totais, os autores utilizam a Adaptação de Baixo Posto (LoRA) para ajustar o LLM base (ChatGLM3-6B) para a tarefa de geração de consultas.

Estratégia de Treinamento: O modelo é treinado usando o algoritmo PPO (Proximal Policy Optimization).
Objetivo: A rede de política aprende a maximizar as recompensas cumulativas identificando lacunas de informação e gerando consultas que as preencham, em vez de depender de prompts heurísticos.

C. Função de Recompensa Dinâmica

Uma função de recompensa inovadora e multidimensional guia o agente de RL, equilibrando qualidade e eficiência através de ponderação adaptativa:

Recompensa de Similaridade ( $R_s$ ): Incentiva a recuperação de chunks altamente similares ao conteúdo não recuperado mais relevante.
Penalidade de Redundância ( $R_r$ ): Penaliza a recuperação de conteúdo similar a chunks previamente recuperados (usando distância de Jaccard) para evitar loops.
Recompensa de Eficiência ( $R_e$ ): Aplica um fator de decaimento temporal para incentivar a conclusão das tarefas em menos rodadas.

Ponderação Dinâmica: Os pesos ( $\omega_s, \omega_r, \omega_e$ ) são ajustados via uma estratégia de aprendizado por currículo (curriculum learning). O treinamento inicial enfatiza a qualidade (similaridade), enquanto o treinamento posterior desloca o foco para a eficiência, garantindo que o modelo apremenda um caminho de recuperação robusto.

D. Implementação Industrial

Para aplicação no mundo real, o artigo propõe uma estratégia de fragmentação semântica consciente do layout (layout-aware semantic chunking). Em vez de truncamento de comprimento fixo, o sistema utiliza análise de layout de documento para preservar o contexto (seções, tabelas, figuras) e constrói um Grafo de Conhecimento (Neo4j) para vincular texto, tabelas e figuras via relações de referência explícitas (ex: "conforme mostrado na Figura 3").

3. Principais Contribuições

Formalização da Recuperação Multi-Round: O artigo é o primeiro a formalizar o complexo problema de recuperação de múltiplas rodadas em documentos industriais como um MDP, indo além de regras heurísticas para uma rede de política aprendida.
Otimização de Consulta via RL: Introduz um gerador de consultas baseado em aprendizado por reforço (ajustado com LoRA) que refina dinamicamente as consultas de busca para maximizar o ganho de entropia de informação, superando métodos de multi-hop estáticos ou baseados em prompt.
Mecanismo de Recompensa Dinâmica: O design de uma função de recompensa composta com um mecanismo de ponderação dinâmica baseado em currículo resolve efetivamente o dilema exploração-explotação, equilibrando a precisão da recuperação com a eficiência computacional.
Validação do Sistema: Os autores validam a abordagem tanto através de conjuntos de dados públicos de raciocínio multi-hop (HotPotQA, HoVer) quanto através de um protótipo de sistema aplicado a documentos de manufatura de aeronaves civis, demonstrando melhoria no raciocínio cross-modal e cross-document.

4. Resultados Experimentais

O RLo-RAG proposto foi avaliado contra baselines de rodada única (RAG, DPR) e baselines avançados de múltiplas rodadas (LeReT, Self-RAG, CoT-RAG) nos datasets HotPotQA e HoVer.

Desempenho de Geração de Resposta: O RLo-RAG alcançou as pontuações mais altas em todas as métricas. No HotPotQA, atingiu um F1 score de 80,2% e EM de 66,9%, superando o próximo melhor modelo (CoT-RAG) em 1,8 pontos percentuais em F1 e 1,4 em EM.
Precisão de Recuperação: Em termos de recuperar os chunks corretos (EM), o RLo-RAG alcançou 88,9% no HotPotQA, superando significativamente o CoT-RAG (79,2%) e o Self-RAG (77,8%).
Estudos de Ablação:
- RL vs. Heurística: Remover o módulo de RL (substituindo-o por prompting heurístico) resultou em uma queda de 8,4 pontos no F1, confirmando a necessidade da política aprendida.
- Estratégia de RL: O PPO superou o A2C, DPO e GRPO, atribuído à sua capacidade de valorizar estados intermediários e manter a estabilidade da política via clipping.
- Estratégia de Ponderação: A "estratégia dinâmica cooperativa suave" para pesos de recompensa gerou desempenho e estabilidade superiores em comparação com ajustes abruptos ou de dimensão única.

5. Significância e Alegações

O artigo afirma que o RLo-RAG fornece uma solução robusta para a fragmentação semântica inerente à gestão de conhecimento industrial. Ao integrar aprendizado por reforço com ajuste fino eficiente de parâmetros, o método permite que LLMs realizem um raciocínio multi-hop adaptativo que sistemas RAG tradicionais não conseguem alcançar.

Os autores afirmam que sua abordagem:

Melhora a Integridade Semântica: Ao recuperar e agregar iterativamente informações dispersas (texto, tabelas, figuras), o sistema gera respostas com maior precisão e completude.
Otimiza a Eficiência: O mecanismo de recompensa dinâmica evita rodadas de recuperação desnecessárias, tornando o sistema viável para aplicações industriais em tempo real.
Escalabilidade: O uso de LoRA permite a adaptação eficiente a domínios industriais específicos sem o custo computacional do retreinamento total do modelo.

O artigo conclui que, embora o método mostre grande promessa, trabalhos futuros devem focar em fusão multimodal mais profunda (além de referências de texto) e no tratamento de formulações de consulta não padronizadas através de dicionários de termos específicos do domínio.