🤖 AI

SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment

O artigo propõe o SkillC, um framework que aprimora a internalização autônoma de habilidades em agentes de LLM ao introduzir a Atribuição de Crédito de Habilidade Contrastiva para otimizar diretamente políticas em direção ao sucesso sem dependência de habilidades, por meio de execuções em pares e aprendizado de currículo adaptativo, superando as linhas de base existentes em tarefas de longo horizonte sem acesso a habilidades em tempo de execução.

Autores originais: Hongxiang Lin, Zhirui Kuai, Erpeng Xue, Lei Wang

Publicado 2026-05-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hongxiang Lin, Zhirui Kuai, Erpeng Xue, Lei Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô muito inteligente a resolver quebra-cabeças complexos, como organizar uma casa bagunçada ou comprar itens específicos online. Para ajudar o robô a aprender mais rápido, você lhe fornece uma "cola" (uma habilidade) que lhe diz exatamente quais passos tomar.

Existem duas maneiras principais de ensinar o robô:

O Método "Cola para Sempre": Você permite que o robô mantenha a cola para sempre. Ele aprende a resolver o quebra-cabeça, mas nunca aprende a fazê-lo sem o papel. Se você tirar o papel, ele falha.
O Método "Desmame": Você dá a cola ao robô no início, mas começa a retirá-la lentamente. O objetivo é que o robô eventualmente resolva o quebra-cabeça inteiramente por conta própria.

O Problema: "Cegueira de Internalização"
O artigo argumenta que os métodos atuais de "Desmame" têm uma falha grave, que os autores chamam de Cegueira de Internalização.

Imagine um professor corrigindo a prova de um aluno.

No método antigo, o professor olha para uma prova onde o aluno usou uma cola e recebe um A. Em seguida, o professor olha para uma prova onde o aluno não usou a cola e recebe um B.
O professor diz: "Ótimo trabalho no A!" e dá uma nota alta ao aluno.
A Falha: O professor não percebe que o "A" só foi possível por causa da cola. O professor continua recompensando o aluno por usar a cola, mesmo que o objetivo seja que o aluno aprenda o material sem ela. O robô fica confuso: "Eu tive sucesso porque sou inteligente ou porque tive ajuda?" Ele não conhece a diferença, então nunca aprende verdadeiramente a ser independente.

A Solução: SKILLC (O Treinador "Lado a Lado")
Os autores propõem um novo framework chamado SKILLC para corrigir isso. Eles usam uma técnica chamada Atribuição de Crédito de Habilidade Contrastiva.

Veja como funciona, usando uma analogia simples:

1. A Corrida "Lado a Lado" (Execuições Emparelhadas)

Em vez de apenas observar o robô tentar uma vez com ajuda e uma vez sem, o SKILLC faz o robô realizar duas corridas ao mesmo tempo exato para cada tarefa:

Corrida A: O robô tenta resolver o quebra-cabeça com a cola.
Corrida B: O robô tenta resolver exatamente o mesmo quebra-cabeça sem a cola.

2. O "Juiz Justo" (Vantagem de Duplo Fluxo)

Agora, o professor (o algoritmo de aprendizado) olha para ambas as corridas lado a lado.

Se o robô vence a Corrida A (com ajuda) mas perde a Corrida B (sem ajuda), o professor percebe: "Ah, o robô só teve sucesso por causa da cola. Eu não deveria dar crédito total por ser inteligente ainda."
Se o robô vence ambas as corridas, o professor diz: "Ótimo! Você resolveu sem ajuda. Isso é habilidade real!"

O sistema recompensa especificamente o robô mais por vencer a Corrida B (a vitória independente) e recompensa menos por vencer a Corrida A se ele falhou na Corrida B. Isso força o robô a aprender que a única coisa que realmente importa é resolver o problema por conta própria.

3. O "Treinador Inteligente" (Currículo Adaptativo)

O sistema também atua como um treinador inteligente que observa o progresso do robô em tempo real.

No início: O robô é terrível sem a cola. O treinador diz: "Continue usando a cola, mas vamos tentar fazer sem ela um pouco."
No meio: O robô começa a melhorar. O treinador nota que a lacuna entre "com ajuda" e "sem ajuda" está diminuindo. O treinador começa a retirar a cola mais rápido.
No final: O robô está indo muito bem sozinho. O treinador diz: "Você não precisa mais da cola. Vamos aposentá-la completamente e parar de treinar nesta tarefa específica."

Por Que Isso Importa

O artigo testou isso em dois ambientes:

ALFWorld: Um jogo baseado em texto onde um agente precisa fazer tarefas domésticas (como "colocar a camisa limpa na gaveta").
WebShop: Uma tarefa simulada de compras online onde o agente precisa encontrar e comprar itens específicos.

Os Resultados:

O SKILLC aprendeu a resolver essas tarefas sem nenhuma cola no final.
Ele performou significativamente melhor do que os métodos anteriores de "Desmame" (melhorando as taxas de sucesso em cerca de 4-5%).
Ele até performou tão bem quanto os métodos que mantiveram as colas para sempre, provando que o robô pode realmente aprender as habilidades internamente.

O Pulo do Gato (Limitações)
O artigo admite que este método não é perfeito:

É caro: Executar duas corridas ao mesmo tempo (com e sem ajuda) consome cerca de 26% mais poder de computação no início.
Precisa de bons dados: Se o robô já for muito bom em uma tarefa, ou se as tarefas forem muito raras, o sistema pode ficar confuso sobre quando parar de usar a cola.

Em Resumo:
O SKILLC é uma nova maneira de treinar agentes de IA. Em vez de apenas remover a ajuda lentamente, ele compara constantemente tentações "com ajuda" com tentações "sem ajuda". Ao recompensar o agente especificamente por ter sucesso sem ajuda, ele força a IA a internalizar verdadeiramente as habilidades, transformando um "usuário de cola" em um "especialista autossuficiente".

Resumo Técnico: SKILLC – Aprendizado de Internalização Autônoma de Habilidades em Agentes LLM via Atribuição de Crédito Contrastiva

1. Declaração do Problema: Cegueira de Internalização

Prompts estruturados de habilidades tornaram-se um mecanismo prático para aprimorar a exploração e a eficiência de amostras em Aprendizado por Reforço (RL) agênico de longo horizonte. No entanto, existe uma dicotomia nas abordagens atuais:

RL Aprimorado por Habilidades: Métodos mantêm habilidades externas no momento da inferência, otimizando o desempenho com suporte de habilidades em tempo de execução.
RL de Internalização de Habilidades: Métodos (por exemplo, SKILL0) retiram as habilidades durante o treinamento para permitir desempenho autônomo, mas sofrem com uma incompatibilidade crítica de otimização denominada "cegueira de internalização".

Em frameworks de internalização existentes, as atualizações da política (por exemplo, via GRPO) geram todas as trajetórias para uma tarefa sob uma única condição de prompt. Consequentemente, o gradiente não consegue distinguir entre uma trajetória bem-sucedida que é verdadeiramente autônoma e uma que é meramente dependente de habilidade. Mesmo que um currículo saiba que uma habilidade é globalmente útil, a atualização da política reforça o sucesso sob o regime atual em vez de impulsionar o agente em direção ao sucesso sem a habilidade. Isso impede que a política aprenda a ter sucesso autonomamente durante a fase de treinamento, levando a uma lacuna persistente entre o desempenho "com habilidade" e "sem habilidade", que só colapsa (se é que colapsa) após uma mudança brusca de currículo.

2. Metodologia: O Framework SKILLC

Os autores propõem o SKILLC, um framework baseado em Atribuição de Crédito de Habilidade Contrastiva (CSCA). O SKILLC converte o contraste entre o desempenho com injeção de habilidade e o desempenho sem habilidade em um sinal de aprendizado direto para resolver a cegueira de internalização. O framework opera por meio de três mecanismos coordenados:

A. Trajetórias Contrastivas Emparelhadas

Para tarefas dentro do conjunto de habilidades ativo, o SKILLC amostra trajetórias emparelhadas dentro da mesma atualização de política:

Com injeção de habilidade ( $\tau^+$ ): Gerada com um prompt de habilidade ( $z=1$ ).
Sem habilidade ( $\tau^-$ ): Gerada sem o prompt de habilidade ( $z=0$ ).
Ambas utilizam os mesmos parâmetros de política $\pi_\theta$ , criando um design auto-contrastivo. Isso permite que o sistema meça a lacuna contrastiva no nível da tarefa $\Delta(x) = E[R|x, z=1] - E[R|x, z=0]$ . Uma lacuna positiva indica dependência de habilidade; uma lacuna próxima de zero indica internalização.

B. Estimador de Vantagem de Duplo Fluxo

Para injetar esse contraste na otimização sem distorcer os rankings globais, o SKILLC emprega um estimador de vantagem de duplo fluxo:

Fluxo 1 (Ranking Global): Preserva a vantagem relativa ao grupo padrão usando a média e a variância de todas as trajetórias no lote.
Fluxo 2 (Pressão de Internalização): Aplica uma correção unidirecional baseada na lacuna contrastiva.
- Para trajetórias com injeção de habilidade ( $z=1$ ), a vantagem é ponderada para baixo por um termo de correção $C(x)$ .
- Para trajetórias sem habilidade ( $z=0$ ), a vantagem é ponderada para cima por $C(x)$ .
- A magnitude da correção $C(x)$ é proporcional à lacuna estimada $\hat{\Delta}(x)$ e a uma força de atribuição $\lambda$ .
  Este mecanismo redireciona explicitamente o crédito para o sucesso autônomo ("ter sucesso sem suporte de habilidade") enquanto o agente ainda está aprendendo, em vez de aguardar uma mudança de currículo.

C. Currículo Consciente de Internalização

Um sinal suavizado no nível de validação impulsiona um currículo adaptativo que controla dinamicamente três hiperparâmetros:

Força de Atribuição ( $\lambda$ ): Escala a correção contrastiva.
Alocação de Trajetórias ( $\rho$ ): Ajusta a fração de trajetórias com injeção de habilidade versus sem habilidade.
Poda do Conjunto de Habilidades Ativo: Aposenta monotonicamente tipos de habilidades onde a lacuna de validação $\bar{\Delta}_{val}$ cai abaixo de um limite.
Diferentemente de métodos de cronograma fixo, este currículo é orientado por dados, respondendo ao progresso real medido da internalização.

3. Contribuições Principais

Identificação da Cegueira de Internalização: O artigo identifica que a internalização de cronograma fixo falha porque os gradientes de política padrão não conseguem distinguir sucesso autônomo de sucesso dependente de habilidade quando todas as trajetórias compartilham uma única condição de prompt.
Framework SKILLC: Os autores propõem uma solução utilizando trajetórias contrastivas emparelhadas e um estimador de vantagem de duplo fluxo para tornar a lacuna de internalização observável e acionável em cada etapa de gradiente.
Currículo Adaptativo: Um mecanismo orientado por validação que modula conjuntamente a força de atribuição, o orçamento de trajetórias e a aposentadoria de habilidades, garantindo que a retirada de habilidades esteja alinhada com a capacidade real do agente.
Caracterização Crítica da Aplicabilidade: O artigo fornece uma análise nuances mostrando que a eficácia da CSCA é dependente da qualidade do sinal. Sinais contrastivos fortes produzem ganhos substanciais (por exemplo, +33,4% na tarefa "Pick2" do ALFWorld), enquanto sinais fracos em tarefas de efeito de teto podem causar regressão de desempenho.

4. Resultados Experimentais

Os experimentos foram conduzidos no ALFWorld (tarefas domésticas baseadas em texto) e no WebShop (compras online) usando o modelo base Qwen2.5-7B-Instruct.

Ganhos de Desempenho: Sem acesso a habilidades em tempo de execução, o SKILLC supera a melhor linha de base anterior de internalização de habilidades (SKILL0) em 5,5% no ALFWorld (85,9% $\to$ 90,6%) e 4,4% no WebShop (70,9% $\to$ 74,0%).
Competitividade: O SKILLC permanece competitivo com métodos aprimorados por habilidades (que mantêm habilidades na inferência). No ALFWorld, ele iguala o desempenho do D2Skill (um método aprimorado por habilidades), apesar de não ter acesso a habilidades durante a inferência.
Estudos de Ablação:
- Remover trajetórias emparelhadas (atualizações de condição única) reduz o desempenho em 3,3%.
- Substituir a normalização de duplo fluxo por normalização mista reduz o desempenho em 2,2%.
- Fixar a porta do currículo ou remover a poda resulta em quedas de desempenho menores, mas consistentes.
Dinâmicas de Treinamento: Diferentemente do SKILL0, que mantém uma grande lacuna entre as taxas de sucesso com e sem habilidade até uma mudança brusca, o SKILLC demonstra um declínio monotônico nessa lacuna, cruzando zero durante o meio do treinamento. Isso confirma que a política está aprendendo autonomia continuamente, em vez de depender de transferência passiva.

5. Significado e Alegações

O artigo afirma que o SKILLC aborda uma limitação fundamental no RL agênico atual: a incapacidade de otimizar para autonomia durante o processo de treinamento quando habilidades estão presentes. Ao converter a "utilidade" de uma habilidade em um sinal direto de atribuição de crédito para o sucesso autônomo, o SKILLC elimina a "cegueira de internalização" inerente aos métodos anteriores.

Os autores enfatizam que sua abordagem não requer a alteração do framework de otimização de política subjacente (GRPO), mas sim modifica o mecanismo de atribuição de crédito. O significado reside em alcançar um desempenho autônomo que rivaliza com métodos aprimorados por habilidades, sem a sobrecarga em tempo de execução da recuperação de habilidades, ao mesmo tempo em que fornece um mecanismo orientado por dados e adaptativo para a aposentadoria de habilidades.

Limitações Reconhecidas:
O artigo observa que o SKILLC depende de inventários de habilidades fixos e pré-definidos e pode ter dificuldades em configurações de propósito aberto com relevância dinâmica de habilidades. Além disso, o método incorre em uma sobrecarga computacional de aproximadamente 26% no início do treinamento devido à amostragem emparelhada, embora isso diminua à medida que as habilidades são aposentadas. A eficácia do método também é contingente à qualidade do sinal contrastivo; em tarefas onde o desempenho já está próximo do teto, o sinal pode ser muito fraco para impulsionar uma internalização adicional.