Resumo Técnico: KV-Skill

1. Definição do Problema

O conhecimento de tarefas em grandes modelos de linguagem (LLMs) enfrenta atualmente um dilema de ciclo de vida. Ele é tipicamente armazenado como texto no prompt ou como atualizações nos pesos do modelo.

• Habilidades baseadas em texto são modulares e compartilháveis, mas exigem que o modelo interprete e traduza instruções em computação interna a cada uso, o que frequentemente leva a falhas de execução mesmo quando o procedimento está correto.
• Adaptação baseada em pesos (ex: fine-tuning, LoRA) melhora a execução, mas incorpora a capacidade dentro dos pesos do modelo, tornando difícil carregá-la, removê-la ou compartilhá-la de forma independente.
• Prompts contínuos (ex: prefix tuning) permanecem externos, mas ocupam o estado de atenção do modelo e são frequentemente treinados via imitação, falhando em desacoplar totalmente a modularidade da eficácia.

O artigo questiona: Pode o conhecimento de uma tarefa ser representado em uma forma nativa do modelo, carregada sob demanda e desenvolvida diretamente a partir da experiência, sem ocupar posições de prompt ou alterar os pesos do backbone?

2. Metodologia: Espaço de Design KV-Skill

Os autores introduzem o KV-Skill, um espaço de design de operadores associativos fatorados externos que um modelo de linguagem congelado lê através de uma interface leve.

Arquitetura Central

• Operador Externo ($M_s$): O conhecimento da tarefa é armazenado fora do prompt e do backbone em um operador fatorado definido como $M_s = W_s U_s^\top$.
  • Chaves ($U_s$): Endereçam "slots de habilidade" específicos com base no estado residual atual.
  • Valores ($W_s$): Retornam uma resposta dependente da consulta (query).
  • Mecanismo: O operador é aplicado via um ramo residual separado em camadas de injeção, distinto do cache KV de autoatenção do modelo. Ele não adiciona posições de prompt e não cresce com o comprimento da conversa.
• Interface Leve ($I$): Uma interface compartilhada e treinável conecta o backbone congelado ao operador externo. Ela constrói uma consulta a partir do estado residual, lê o operador e injeta uma resposta controlada (gated) de volta ao modelo.

Dois Caminhos de Construção

O espaço de design suporta dois caminhos complementares para adquirir o operador:

1. Registro (Derivado de Texto):

   • Converte uma habilidade de texto escrita em um operador de alta resolução e fixo.
   • Processo: Um único prefill congelado da habilidade de texto registra os estados residuais ($\bar{H}_s$). Os fatores do operador são definidos como $U_s = W_s = \bar{H}_s$.
   • Treinamento: Apenas a interface compartilhada é treinada para acessar este operador fixo, utilizando uma combinação de correspondência de professor (divergência KL) e supervisão de resposta padrão (gold-answer).
   • Resultado: A habilidade de texto é "compilada" em um operador nativo do modelo.

2. Aprendizado por Recompensa (Descoberta Latente):

   • Desenvolve um operador latente compacto diretamente de resultados de tarefas (recompensas de verificadores), com ou sem uma habilidade de texto inicial.
   • Processo: Otimiza um par de fatores compactos ($U_s, W_s$) e a interface da tarefa conjuntamente, mantendo o backbone congelado.
   • Inicialização: Pode começar do zero ou a partir de uma inicialização informada por texto.
   • Resultado: Descobre uma capacidade procedural compacta sem exigir um procedimento escrito.

3. Principais Contribuições

• Espaço de Design de Operador Externo: Define o KV-Skill não como um cache de atenção ou um layout de tensor fixo, mas como um operador associativo fatorado externo carregado via uma interface leve, que não adiciona posições de prompt.
• Caminhos Duplos de Aquisição: Demonstra que o conhecimento de tarefa pode ser adquirido tanto pela compilação de habilidades de texto (Registro) quanto pela descoberta de habilidades através de recompensa (Aprendizado por Recompensa), ambos resultando em capacidades externas carregáveis.
• Avaliação Controlada: Fornece comparações entre dez benchmarks e quatro backbones, isolando o efeito do substrato treinável (KV-Skill) do objetivo de otimização.
• Insights Mecanísticos: Mostra que operadores derivados de texto podem ser comprimidos para uma única direção alinhada à tarefa por camada com perda mínima, e que uma única interface compartilhada pode reter múltiplos KV-Skills independentes e carregáveis sem esquecimento mensurável.

4. Resultados Experimentais

O artigo avalia o KV-Skill contra habilidades de texto, SkillOpt, SoftSkill, soft prefixes, prefix tuning e LoRA em tarefas de raciocínio, recuperação e QA.

• Ganhos de Desempenho na Registro:

  • No Qwen3.5-4B LiveMath, o Registro atinge 77,2% de precisão, superando significativamente a habilidade de texto original (23,4%), SkillOpt (52,0%) e SoftSkill (64,5%).
  • Melhorias semelhantes são observadas no SearchQA e na recuperação de conhecimento estruturado (STaRK-Prime/MAG).
  • Mecanismo: O ganho é atribuído ao caminho de acesso (como o modelo usa o conhecimento) e não apenas ao conhecimento em si.

• Eficácia do Aprendizado por Recompensa:

  • O KV-Skill aprendido via recompensa (RL) supera soft prefixes, prefix tuning e LoRA em 7 de 8 configurações correspondentes (mesmo objetivo de recompensa, orçamento de treinamento e contagem de parâmetros).
  • O RL a partir do zero pode performar tão bem quanto ou melhor que o RL a partir de uma habilidade, indicando que a recompensa verificável pode descobrir operadores eficazes sem procedimentos de texto prévios.

• Compressão e Direcionalidade:

  • Análise de Rank: Após o registro, o operador ao nível de token pode ser reduzido a uma única direção alinhada à tarefa por camada de injeção (via SVD) com quase nenhuma perda de desempenho no LiveMath, SearchQA ou STaRK-Prime.
  • Baselines Aleatórios: Direções aleatórias correspondentes falham (retornando ao desempenho base), confirmando que o benefício vem da estrutura específica da tarefa, não da escala.
  • Dependência de Consulta: Aplicar a direção uniformemente (direcionamento fixo) é inferior ao KV-Skill dependente de consulta, destacando a importância de condicionar a força do direcionamento ao estado residual atual.

• Modularidade e Retenção:

  • Identidade da Tarefa: Quando a interface é fixa e o operador carregado é trocado, o desempenho muda imediatamente, confirmando que a identidade da tarefa reside no operador ($M_s$), não na interface.
  • Retenção de Múltiplas Habilidades: Uma única interface compartilhada pode registrar sequencialmente três KV-Skills independentes (SearchQA, LiveMath, STaRK-Prime) sem esquecimento mensurável, desde que o replay seja usado durante o treinamento.

5. Significância e Alegações

O artigo afirma que o KV-Skill demonstra um novo paradigma para o conhecimento de tarefas:

1. Desacoplamento: Separa a aquisição de conhecimento (de texto ou experiência) da implementação (como um operador externo).
2. Eficiência: Permite que o conhecimento procedural seja comprimido em uma forma compacta e carregável que não consome contexto de prompt nem requer atualizações de pesos.
3. Flexibilidade: Suporta tanto a "compilação" de procedimentos de texto existentes quanto a "descoberta" de capacidades através de recompensa, oferecendo um espaço de design unificado para capacidades externas reutilizáveis.

Os autores concluem que o conhecimento de tarefa não precisa permanecer na forma em que foi adquirido; ele pode ser adquirido, comprimido e implantado separadamente do backbone, tornando o KV-Skill um espaço de design para capacidades externas reutilizáveis, em vez de ser simplesmente mais um adaptador.