Resumo Técnico: SEARCHSKILL

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) possuem conhecimento paramétrico amplo, mas permanecem fundamentalmente estáticos, frequentemente carecendo de fatos de cauda longa ou informações atualizadas necessárias para tarefas intensivas em conhecimento, como resposta a perguntas (QA) em domínio aberto e multi-hop. Embora frameworks de Geração Aumentada por Recuperação (RAG) e uso de ferramentas (por exemplo, ReAct, Toolformer) tenham permitido que LLMs interajam com motores de busca, um gargalo crítico permanece: qualidade da consulta.

Métodos existentes frequentemente ensinam aos modelos o que buscar, mas não como formular consultas de alta qualidade. Em configurações multi-hop, os modelos frequentemente emitem consultas amplas, copiadas ou redundantes (por exemplo, colar a pergunta inteira na barra de pesquisa). Isso leva ao desperdício de orçamentos de recuperação, evidências ruidosas, chamadas de ferramentas redundantes e precisão de raciocínio degradada. Além disso, os atuais frameworks de "habilidade" para agentes não definem explicitamente como as habilidades devem ser representadas, invocadas ou atualizadas no contexto específico de trajetórias de busca, particularmente no que diz respeito a como uma habilidade molda a próxima consulta, o comportamento de verificação e as decisões de parada.

Metodologia: SEARCHSKILL

Os autores propõem SEARCHSKILL, um framework que torna o uso de ferramentas de busca explícito, fatorizando cada passo de interação em seleção de habilidade seguido por execução fundamentada na habilidade. A inovação central é um SkillBank Evolutivo que serve como um prior externo e reutilizável para estratégias de busca.

1. A Interface Condicionada à Habilidade

Em vez de tratar a busca como uma ação indiferenciada, o SEARCHSKILL impõe um protocolo em nível de token:

1. Seleção de Habilidade: O modelo emite uma tag <skill>...</skill> para declarar a estratégia reutilizável específica que empregará (por exemplo, bridge-entity-search, parallel-attribute-compare).
2. Execução: Condicionada ao cartão de habilidade selecionado, o modelo gera uma consulta <search>...</search> ou uma resposta <answer>...</answer>.
3. Feedback: A evidência recuperada é retornada através de tags <information>...</information>.

Esta interface torna a escolha da estratégia uma variável de controle explícita e treinável antes de cada ação de recuperação ou resposta.

2. SkillBank Evolutivo

O SkillBank não é estático; ele evolui através de um loop externo impulsionado por falhas, alinhado ao aumento da dificuldade da tarefa (de saltos únicos para conjuntos de dados multi-hop complexos como MuSiQue):

• Inicialização: Começa com um banco de sementes compacto ($B_0$) contendo habilidades gerais de recuperação e fundamentação.
• Refinamento: Em cada estágio, o sistema analisa padrões de falha recorrentes das execuções do modelo. Um modelo professor (GPT-5.4) propõe novas habilidades ou refinamentos às existentes com base nessas falhas (por exemplo, adicionar bridge-entity-search para raciocínio multi-hop).
• Reconstrução: Ao aceitar uma atualização do banco, as trajetórias afetadas são reconstruídas para garantir consistência.
• Taxonomia: O banco final ($B_4$) inclui habilidades para consulta direta, resolução de pontes, decomposição de cadeias de relação, ancoragem temporal, verificação de conflitos e fundamentação de respostas.

3. Ajuste Fino Supervisionado em Dois Estágios (SFT)

A receita de treinamento alinha o modelo com o protocolo de tempo de inferência:

• Estágio 1 (Execução): O modelo aprende o formato básico de ação: emitir uma tag <skill> seguida por uma tag <search> ou <answer>. Este estágio utiliza um conjunto de trajetórias de professores validadas para ensinar o planejamento de consultas com tags de habilidade e a parada fundamentada.
• Estágio 2 (Roteamento): O modelo aprende a selecionar habilidades do índice do SkillBank. Cada turno de ação original é dividido em um turno de seleção de habilidade, um turno de usuário contendo o conteúdo do cartão de habilidade selecionado e o turno de ação original. O modelo deve rotear através do SkillBank sem dicas específicas da pergunta, condicionando sua próxima ação ao conteúdo do cartão selecionado.

4. Aprendizado por Reforço (Auxiliar)

Os autores também exploram um estágio leve de GRPO (Otimização de Política Relativa em Grupo) pós-SFT para refinar ainda mais o comportamento de busca, visando especificamente o uso de evidências, a fundamentação de respostas e o comportamento de parada, embora os ganhos principais sejam atribuídos ao processo de SFT.

Contribuições Principais

1. Interface Condicionada à Habilidade: Um framework inovador que melhora a formulação de consultas, forçando o modelo a selecionar uma estratégia de busca reutilizável antes de cada chamada de ferramenta, abordando a falha de emitir consultas multi-hop amplas ou copiadas.
2. SkillBank de Busca Evolutivo: Um repositório dinâmico atualizado através de análise de falhas, operações de adição/refinamento e reconstrução de trajetórias. Ele fornece um prior reutilizável para uso de ferramentas que vai além do cenário específico de QA.
3. Receita de SFT em Dois Estágios: Uma metodologia de treinamento que alcança desempenho comparável ou superior a agentes de busca baseados em RL em larga escala (como Search-R1), evitando o alto custo computacional de execuções de RL.
4. Generalização: Eficácia demonstrada tanto em modelos de código aberto (Qwen2.5 3B/7B) quanto em modelos de código fechado. O SkillBank congelado pode servir como um guia de planejamento externo para modelos proprietários sem ajuste fino.

Resultados Experimentais

O framework foi avaliado em sete benchmarks abrangendo QA de salto único (Natural Questions, TriviaQA, PopQA) e multi-hop (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle).

• Desempenho: O SEARCHSKILL alcançou as melhores pontuações médias macro de Correspondência Exata (EM) tanto no Qwen2.5-7B (42,34%) quanto no Qwen2.5-3B (36,94%), superando bases fortes, incluindo Search-R1 (baseado em RL) e ZeroSearch.
• Comportamento de Consulta: O método reduziu significativamente as taxas de "cópia da primeira consulta" (onde o modelo copia a pergunta inteira) e aumentou as consultas "focadas em salto atômico". Alcançou maior precisão dentro de um pequeno orçamento de busca (por exemplo, Correct@≤3 buscas).
• Estudos de Ablação:
  • Remover o SkillBank (banco vazio) causou quedas de desempenho, confirmando o valor do roteamento explícito de habilidades.
  • Remover o conteúdo dos cartões de habilidade (mantendo apenas os IDs) também reduziu o desempenho, indicando que o conteúdo semântico das habilidades é crucial.
  • Substituir o banco evoluído pelo banco de sementes ($B_0$) degradou o desempenho, destacando a importância do refinamento iterativo.
• Transferência para Código Fechado: Aplicar o SkillBank congelado como um guia de planejamento para modelos proprietários (GPT-4o-mini, Gemini 2.5 Flash Lite, Claude Haiku 4.5) produziu ganhos macro consistentes, provando a transferibilidade dos priors de busca aprendidos.

Significado e Alegações

O artigo postula que o planejamento de consultas condicionado explicitamente a habilidades é uma alternativa leve e eficaz a tratar a busca como uma ação indiferenciada. Ao tornar a estratégia de busca explícita e treinável, o SEARCHSKILL aborda a causa raiz da ineficiência na recuperação: a má formulação de consultas.

Os autores afirmam que esta abordagem:

• Desacopla estratégia de execução: O SkillBank atua como um prior externo, permitindo que o modelo aprenda como buscar sem precisar redescobrir esses padrões implicitamente durante o SFT.
• Melhora a eficiência: Reduz buscas redundantes e melhora a qualidade das evidências recuperadas, levando a melhores respostas dentro de orçamentos mais apertados.
• Oferece um caminho de treinamento escalável: A receita de SFT em dois estágios fornece uma maneira custo-efetiva de treinar agentes de busca, evitando a instabilidade e os altos custos computacionais associados ao treinamento do comportamento de busca principalmente através de Aprendizado por Reforço.

O trabalho sugere que, embora o RL possa refinar ainda mais hábitos de execução (por exemplo, comportamento de parada), a capacidade fundamental para busca inteligente é melhor estabelecida através de supervisão estruturada e condicionada a habilidades.