Don't Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG

1. O Problema: Limitações do RAG Tradicional e Agente

O artigo identifica uma limitação estrutural fundamental nos sistemas atuais de Geração Aumentada por Recuperação (RAG) e nos sistemas de RAG Agêntico:

• RAG Tradicional (Passivo): O modelo de linguagem (LLM) atua como um consumidor passivo de resultados de busca. Ele recebe os top-k trechos recuperados por similaridade vetorial, mas não tem visão da estrutura global do corpus. Isso impede que o modelo entenda como o conhecimento está organizado, o que falta na recuperação ou como conectar evidências dispersas. O modelo "não vê a floresta por causa das árvores".
• RAG Agêntico (Sem Mapa): Embora permita múltiplas consultas iterativas, o agente ainda opera sem um "mapa" do corpus. Ele precisa adivinhar termos de busca produtivos e não tem uma visão sistemática para refinar o foco de tópicos amplos para documentos específicos. Cada busca é, essencialmente, um "tiro no escuro".
• Abordagens Hierárquicas Existentes (RAPTOR, GraphRAG): Embora organizem documentos em árvores ou grafos com resumos, esses sistemas ainda dependem de busca por similaridade vetorial no momento da consulta (serve time). A hierarquia enriquece os candidatos, mas permanece invisível para o LLM durante a consulta; o modelo ainda recebe resultados de busca sem entender a estrutura organizacional que os produziu.

Hipótese Central: Em vez de buscar passivamente trechos, deve-se destilar o corpus em uma hierarquia de habilidades navegáveis e permitir que o agente explore ativamente essa estrutura, similar a como um humano navega em um sistema de arquivos bem organizado.

---

2. Metodologia: Framework CORPUS2SKILL

O authors propõem o CORPUS2SKILL, um framework que opera em duas fases distintas: uma fase de compilação offline e uma fase de serviço online guiada por agente.

A. Fase de Compilação (Offline)

O objetivo é transformar um corpus de documentos brutos em uma "floresta" de diretórios de habilidades navegáveis.

1. Carregamento e Embedding: Os documentos são carregados, recebem IDs únicos baseados em hash de conteúdo e são convertidos em vetores densos usando um modelo de sentence embedding.
2. Agrupamento Hierárquico Iterativo:
   • Utiliza um processo bottom-up controlado por um parâmetro de taxa de ramificação ($p$).
   • Em cada nível, os vetores são agrupados via K-Means.
   • Um LLM gera um resumo conciso para cada cluster, descrevendo o tópico, tipos de perguntas respondidas e termos-chave.
   • Esses resumos são re-embedados e o processo repete-se até formar os clusters raiz.
3. Construção da Árvore de Habilidades (Skill Tree):
   • A hierarquia é materializada como um sistema de arquivos navegável.
   • Clusters Raiz: Tornam-se diretórios de nível superior contendo um arquivo SKILL.md (resumo do cluster) e uma lista de subgrupos.
   • Subclusters: Tornam-se subdiretórios contendo INDEX.md (lista de subgrupos ou IDs de documentos com resumos curtos).
   • Folhas: O texto completo dos documentos é armazenado externamente em um arquivo documents.json, acessível apenas por ID.
   • Design de Arquivo: Os arquivos de navegação (SKILL.md, INDEX.md) são pequenos (

B. Fase de Serviço (Online)

Durante a consulta, um agente LLM navega pela árvore pré-compilada.

1. Divulgação Progressiva (Progressive Disclosure): O agente recebe apenas os nomes e descrições de uma linha das habilidades (metadados) no contexto inicial. O conteúdo completo dos arquivos de navegação é carregado sob demanda.
2. Ferramentas do Agente:
   • code_execution (ou similar): Permite ao agente navegar pelos arquivos SKILL.md e INDEX.md para entender a estrutura e tomar decisões.
   • get_document(doc_id): Recupera o texto completo de um documento específico quando o agente identifica o ID relevante.
3. Fluxo de Trabalho:
   • O agente identifica a habilidade (tópico) mais relevante baseada nas descrições pré-carregadas.
   • Lê o SKILL.md para entender a estrutura de subgrupos.
   • Navega para o INDEX.md do subgrupo relevante para ver resumos de documentos.
   • Chama get_document para recuperar o texto completo e sintetizar a resposta.
   • O agente pode retroceder (backtrack) se um caminho for improdutivo e explorar outras ramificações, combinando evidências de diferentes ramos.

---

3. Contribuições Principais

1. Identificação da Navegabilidade: O artigo destaca a "navegabilidade do corpus" como uma dimensão subexplorada no RAG. O LLM precisa de uma visão estruturada do conhecimento para localizar evidências de forma sistemática.
2. Framework CORPUS2SKILL: Propõe um paradigma de "compilar-navegar" (compile-then-navigate). Transforma o corpus em uma hierarquia de habilidades navegáveis offline, eliminando a necessidade de índices vetoriais ou bancos de dados de grafos no momento da consulta.
3. Reinterpretação de Habilidades: Adapta o conceito de "habilidades de agente" (geralmente usadas para workflows procedurais) para habilidades informativas, onde cada diretório representa uma partição temática do conhecimento.
4. Avaliação Rigorosa: Avaliação no benchmark WixQA (suporte ao cliente empresarial), demonstrando superioridade sobre métodos de recuperação plana, hierárquica (RAPTOR) e agêntica tradicional.

---

4. Resultados Experimentais

O sistema foi testado no conjunto de dados WixQA (6.221 artigos, 200 perguntas de especialistas).

• Qualidade Superior: O CORPUS2SKILL obteve as pontuações mais altas em todas as métricas de qualidade:
  • Token F1: 0.460 (vs. 0.388 do Agente Agêntico e 0.363 do RAG Denso). Uma melhoria de 19% sobre o Agente.
  • Facticidade (Factuality): 0.729 (superior ao RAPTOR de 0.675).
  • Recall de Contexto: 0.652 (superior ao RAPTOR de 0.616 e Agente de 0.481), indicando que a navegação encontra conteúdo mais relevante do que a busca vetorial.
• Comparação com Baselines: Superou métodos de recuperação plana (BM25, Densa, Híbrida) e abordagens hierárquicas existentes (RAPTOR). A estrutura hierárquica visível permitiu conectar tópicos que a similaridade vetorial superficial ignoraria.
• Custo: O custo por consulta é maior ($0.172) comparado ao RAG denso ($0.008) devido ao uso de tokens de entrada para navegar nos arquivos de resumo. No entanto, o custo é justificado pela qualidade superior em consultas complexas de suporte empresarial.
• Estudos de Ablação:
  • Estrutura de Cluster: Árvores mais estreitas (menor ramificação) tendem a performar melhor ou igual à configuração padrão, enquanto árvores muito largas degradam a qualidade.
  • Orçamento de Exploração: A qualidade é estável mesmo com poucos turnos de interação (5 turnos), sugerindo que a hierarquia bem organizada reduz a necessidade de exploração extensa.
  • Modelo de Serviço: Modelos menores e mais baratos (ex: Claude Haiku) mantêm a qualidade com metade do custo, demonstrando que a qualidade da hierarquia compilada é o motor principal, não apenas a sofisticação do modelo de navegação.

---

5. Significado e Impacto

O trabalho propõe uma mudança de paradigma fundamental para sistemas de conhecimento empresarial:

• Do "Buscar" para o "Navegar": Em vez de gastar computação no momento da consulta para buscar similaridades vetoriais, o investimento computacional é feito no momento de compilação para tornar o corpus navegável.
• Visibilidade Estrutural: Ao dar ao agente uma visão de "pássaro" (bird's-eye view) da estrutura do conhecimento, o sistema permite raciocínio sobre onde procurar, retroceder de caminhos sem saída e combinar evidências de múltiplos ramos.
• Simplicidade de Implantação: Elimina a dependência de infraestrutura complexa em tempo de execução (bancos de dados vetoriais, grafos de conhecimento), utilizando apenas um sistema de arquivos e uma API de habilidades padrão.
• Aplicabilidade: É particularmente eficaz para cenários de alto valor onde a precisão é crítica (suporte ao cliente complexo, conformidade), superando as limitações de alucinação e fragmentação de contexto dos RAGs tradicionais.

Em resumo, o CORPUS2SKILL demonstra que transformar o conhecimento em uma estrutura de arquivos navegável e permitir que agentes LLM explorem essa estrutura ativamente gera respostas mais precisas e fundamentadas do que a recuperação passiva de trechos.