Resumo Técnico: KbSD – Auto-destilação Consciente da Fronteira de Conhecimento para Calibração Comportamental em Busca Agêntica

Declaração do Problema

Sistemas de busca agêntica capacitam Grandes Modelos de Linguagem (LLMs) a recuperar informações de forma dinâmica, porém as abordagens atuais de aprendizado por reforço (RL) enfrentam um gargalo fundamental: a escassez de recompensa na calibração da fronteira de conhecimento. Embora os métodos existentes consigam determinar quando recuperar informações, eles têm dificuldade em orientar o agente sobre como reconciliar fontes de conhecimento conflitantes (memória paramétrica vs. evidência recuperada) ou quando se abster.

O problema central é que recompensas binárias ou esparsas terminais apenas penalizam resultados indesejáveis (ex: alucinações) sem fornecer orientação sobre o processo de raciocínio intermediário. Isso é particularmente problemático através de quatro quadrantes distintos de fronteira de conhecimento, definidos por certeza interna e qualidade da recuperação:

1. Integrado: Ambas as fontes são confiáveis.
2. Externo: Recuperação confiável, incerteza interna.
3. Recusa: Ambas as fontes são não confiáveis.
4. Interno: Conhecimento interno confiável, recuperação não confiável.

Recompensas esparsas falham em decompor as etapas cognitivas necessárias para distinguir a abstenção principiológica de suposições não informadas (Quadrante 3) ou para guiar a integração de evidências concordantes (Quadrante 1). Além disso, um objetivo de treinamento uniforme é inadequado para esses estados heterogêneos, pois eles exibem características distributivas diferentes (ex: integração concentrada vs. padrões de recusa diversos).

Metodologia: Estrutura KbSD

Os autores propõem o KbSD (Auto-destilação Consciente da Fronteira de Conhecimento), uma estrutura que aborda a escassez de recompensa através de supervisão densa ao nível de token e otimização adaptativa por quadrante. O pipeline consiste em três estágios:

1. Síntese de Dados Orientada à Fronteira

Para treinar modelos próximos aos seus limites de conhecimento, os autores sintetizam consultas multi-salto desafiadoras a partir de conjuntos de dados semente (HotpotQA, 2WikiMultiHopQA) usando dois operadores:

• Injeção de Fatos: Adiciona profundidade composicional ao introduzir novos saltos de fatos, forçando o modelo a combinar evidências.
• Difusão de Informação (Information Fuzzing): Substitui condições precisas por descrições subespecificadas para aumentar a dificuldade e a ambiguidade da recuperação.

2. Quantificação da Fronteira de Conhecimento e Mapeamento de Quadrantes

Para cada consulta, o sistema quantifica o estado de conhecimento usando:

• Certeza Paramétrica ($\mu$): A fração de respostas corretas geradas pelo modelo sem recuperação.
• Estabilidade Semântica ($\sigma$): A consistência das respostas internas do modelo (similaridade semântica).
• Qualidade da Recuperação ($\hat{\rho}$): A estimativa da suficiência da evidência externa.

Esses sinais mapeiam cada consulta para um dos quatro quadrantes comportamentais (Integrado, Externo, Recusa, Interno), definindo a norma comportamental alvo.

3. Auto-destilação Aumentada por Dicas (Hint-Augmented)

O KbSD emprega um design de auto-destilação com assimetria de informação:

• Modelo Professor: Uma cópia do modelo estudante que recebe dicas privilegiadas ($h(q)$) contendo certeza paramétrica, estabilidade, qualidade de recuperação e o quadrante alvo. O professor gera demonstrações de raciocínio calibradas (ex: como inspecionar a evidência antes de recusar).
• Modelo Estudante: Treinado no input original sem as dicas, aprendendo a internalizar os padrões de raciocínio calibrados do professor através de supervisão ao nível de token.

4. Objetivos de Destilação Adaptativos ao Quadrante

Para lidar com a geometria de otimização heterogênea dos quatro quadrantes, o KbSD aplica objetivos de divergência específicos:

• Quadrante 1 (Integrado): Utiliza KL Reverso (busca de modo/mode-seeking) porque o raciocínio correto está concentrado em torno de um único padrão de integração.
• Quadrante 3 (Recusa): Utiliza KL Direto (cobertura de massa/mass-covering) porque os comportamentos de recusa válidos são diversos; o modelo não deve colapsar para um único template.
• Quadrantes 2 e 4 (Externo/Interno): Utiliza KL Bidirecional Pareto-ótimo, ponderando adaptativamente o KL direto e o reverso para equilibrar precisão (seleção de fonte) e cobertura (robustez ao ruído).

Este objetivo de destilação é otimizado conjuntamente com Aprendizado por Reforço baseado em GRPO, que fornece recompensas esparsas de nível de trajetória para a correção da tarefa final, enquanto a destilação fornece supervisão densa de nível de processo.

Principais Contribuições

1. Identificação da Escassez de Recompensa: O artigo identifica a falta de supervisão de nível de processo como um gargalo crítico na calibração da fronteira de conhecimento, particularmente para distinguir diferentes estratégias de raciocínio em estados de conhecimento heterogêneos.
2. Auto-destilação com Assimetria de Informação: Uma estrutura inovadora que constrói um professor aumentado por dicas para gerar demonstrações de raciocínio densas ao nível de token sem a necessidade de um modelo externo maior. Isso preenche a lacavra entre rótulos comportamentais esparsos e o processo cognitivo completo.
3. Otimização Adaptativa ao Quadrante: Uma estratégia de destilação que alinha a geometria de otimização com o estado de conhecimento específico, utilizando KL Reverso, KL Direto e KL Bidirecional Pareto-ótimo para lidar com distribuições concentradas, diversas e assimétricas, respectivamente.

Resultados Experimentais

Experimentos foram conduzidos em nove benchmarks (incluindo HotpotQA, NQ, TriviaQA, FRAMES e GAIA) usando modelos Qwen2.5 (3B e 7B).

• Desempenho: O KbSD alcançou consistentemente a menor Taxa de Não Confiabilidade (definida como $1 - (\text{F1} + \text{Taxa de Recusa})$) em todos os benchmarks e escalas de modelo, superando fortes baselines incluindo Search-R1, AEPO e o baseline de recompensa esparsa KbPO.
• Eficiência de Escala: As melhorias aumentaram com a escala do modelo. No Qwen2.5-7B, a taxa média de não confiabilidade caiu de 57,99% (KbPO) para 41,18% (KbSD).
• Generalização: Apesar de treinar apenas em dados de QA multi-salto sintetizados, o KbSD generalizou-se efetivamente para tarefas de raciocínio agêntico fora de domínio (FRAMES, GAIA).
• Estudos de Ablação: Remover a perda de destilação ou usar objetivos de KL fixos (não adaptativos) degradou significamente o desempenho, confirmando a necessidade tanto da supervisão densa quanto da divergência adaptativa ao quadrante.
• Estudos de Caso: A análise mostrou que o KbSD aprendeu com sucesso a se abster em perguntas inválidas (Quadrante 3) onde os baselines de recompensa esparsa alucinaram, e integrou corretamente a evidência no Quadrante 1. No entanto, um desafio residual permanece no Quadrante 4 (Interno), onde os modelos ocasionalmente dependem excessivamente da recuperação mesmo quando o conhecimento interno é suficiente.

Significância e Alegações

O artigo afirma que o KbSD muda fundamentalmente o paradigma do treinamento de busca agêntica, passando de uma dependência exclusiva de recompensas esparsas baseadas em resultados para o aproveitamento de supervisão densa de nível de processo derivada de auto-destilação.

Os autores sustentam que o principal gargalo para calibrar o comportamento agêntico não é a capacidade do modelo, mas a escassez de supervisão de nível de processo. Ao tornar explícitos os alvos comportamentais latentes através de um professor aumentado por dicas e ao adaptar o objetivo de otimização ao estado de conhecimento específico, o KbSD permite que os modelos aprendam como calibrar a confiança entre o conhecimento interno e o externo. Os resultados sugerem que esta abordagem é particularmente eficaz em "quadrantes desafiadores" (onde as recompensas esparsas são menos informativas), reduzindo significativamente as taxas de alucinação enquanto mantém a utilidade em tarefas tratáveis. O trabalho posiciona a consciência da fronteira de conhecimento como uma habilidade agnóstica ao domínio que pode ser aprendida através deste mecanismo de auto-destilação.