SAKE: Structured Agentic Knowledge Extrapolation for Complex LLM Reasoning via Reinforcement Learning

) e selecionando os grupos relevantes (). * **Objetivo:** Eliminar ruído de grupos de entidades que, embora semanticamente próximos, não são relevantes para a pergunta específica. * **Ferramenta 2 (Recuperação de Triplets Cross-Group):** Recupera todos os triplets do KG que conectam entidades de diferentes grupos selecionados. Esses triplets fornecem evidências estruturadas sobre como os conceitos se relacionam. 3. **Turno 3: Raciocínio Associativo e Resposta** * O modelo realiza o raciocínio final. Se os triplets recuperados não responderem diretamente à pergunta, o modelo executa **extrapolação de conhecimento**: substitui conceitos nos triplets recuperados por conceitos semanticamente similares dos grupos de entidades para construir novos triplets hipotéticos (ex: mapear (hormônio, trata, transtorno mental)para(melatonina, trata, insônia)). * Gera a resposta final (`).

Otimização e Treinamento

• Algoritmo: Utiliza GRPO (Group Relative Policy Optimization), uma variante eficiente do PPO, dentro do framework VERL.
• Recompensa Curricular (Curriculum Reward): O treinamento ocorre em três fases para estabilizar o aprendizado:
  1. Fase 1 (Formato): Recompensa apenas a estrutura correta de saída (presença de todas as tags).
  2. Fase 2 (Formato + Precisão): Recompensa a estrutura correta E a resposta correta.
  3. Fase 3 (Precisão Pura): Recompensa apenas a precisão da resposta, assumindo que o formato já foi aprendido.
• Sinal de Recompensa: O modelo recebe um sinal de recompensa baseado no resultado final (acerto da resposta), o que permite que ele aprenda implicitamente a importância de uma boa extração de entidades e filtragem, mesmo que essas etapas não sejam diretamente recompensadas.

3. Principais Contribuições

1. Extrapolação via RL: Demonstra que a capacidade de inferir fatos não explícitos em KGs pode ser aprendida end-to-end através de RL, sem depender de engenharia de prompts complexos ou SFT supervisionado.
2. Unificação de Recuperação e Raciocínio: Diferente de abordagens anteriores que separam a recuperação do raciocínio, o SAKE unifica-os em uma única política end-to-end, onde o modelo decide o que recuperar e como raciocinar sobre isso.
3. Eficiência Extrema: O pipeline de um único passo de inferência reduz drasticamente o consumo de tokens em comparação com frameworks agênticos iterativos.
4. Generalização em Modelos Pequenos: Prova que modelos abertos e menores (como Qwen2.5-7B) podem superar modelos proprietários grandes (GPT-3.5-Turbo) em tarefas de raciocínio complexo quando equipados com a ferramenta e o sinal de treinamento adequados.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois domínios com KGs de escalas muito diferentes:

• Biomédico: UMLS (135 nós, 5.9k triplets) em datasets como PubMedQA, BioASQ e ProcessBank.
• Senso Comum: ConceptNet (844k nós, 2.1M triplets) no dataset CommonsenseQA.

Desempenho Chave:

• Superação de Baselines: O modelo Qwen2.5-7B com SAKE superou o GPT-3.5-Turbo (usando o framework agêntico de ponta GIVE) em ambos os benchmarks:
  • Biomédico: 75.4% (SAKE) vs. 70.1% (GPT-3.5/GIVE).
  • Senso Comum: 81.3% (SAKE) vs. 74.7% (GPT-3.5/GIVE).
• Eficiência: Redução de mais de 90% no uso de tokens em comparação com métodos iterativos como ToG e GIVE, que exigem múltiplas chamadas ao LLM.
• Ablação: Estudos mostraram que cada componente (filtragem de grupos, recuperação agêntica e extrapolação) contribui significativamente. A remoção da extrapolação causou a maior queda de desempenho, especialmente em datasets com KGs esparsos (BioASQ), confirmando que a capacidade de "preencher lacunas" é crucial.

5. Significado e Impacto

O trabalho SAKE é significativo por demonstrar que a inteligência associativa (a capacidade de conectar ideias e inferir novos fatos a partir de estruturas incompletas) não é uma propriedade exclusiva de modelos massivos ou de prompts complexos.

• Viabilidade para Domínios Especializados: Oferece uma solução viável para domínios onde manter bases de conhecimento completas é impossível, permitindo que modelos menores aprendam a raciocinar sobre o que não sabem, extrapolando a partir do que sabem.
• Custo-Benefício: Ao reduzir o custo de inferência em mais de 90% e permitir o uso de modelos open-weight menores, o SAKE torna a implementação de sistemas de IA robustos em áreas como medicina e ciência mais acessível e escalável.
• Mudança de Paradigma: Sugere que o futuro do raciocínio em LLMs pode depender menos do aumento do tamanho do modelo e mais do treinamento eficaz de agentes que interagem com ferramentas estruturadas via Reinforcement Learning.