Resumo Técnico: Neologismos de Habilidade: Rumo à Aprendizagem Contínua Baseada em Habilidades

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) modernos demonstram domínio sobre uma ampla gama de habilidades e a capacidade de composi-las de forma flexível. No entanto, estender essas capacidades para novas habilidades de maneira escalável permanece um problema aberto. Abordagens existentes enfrentam limitações significativas:

• Ajuste Fino e Ajuste Fino Eficiente em Parâmetros (PEFT): Métodos como LoRA arriscam o esquecimento catastrófico de capacidades previamente dominadas e podem introduzir riscos de segurança.
• Abordagens Baseadas em Contexto: A aprendizagem em contexto (ICL) tem expressividade limitada e é restringida pela janela de contexto efetiva do modelo.
• Ajuste de Prompt: Embora eficaz para adaptação de tarefas, os prefixos aprendidos são tipicamente específicos de tarefa, e não específicos de habilidade. Eles não podem ser compostos ou adaptados a novos cenários sem retreinamento, falhando em suportar a composição zero-shot de habilidades aprendidas independentemente.

O artigo define Aprendizagem Contínua Baseada em Habilidades como o objetivo de aprender novas habilidades composicionais sem modificar os parâmetros do modelo. Para ser prática e escalável, essa abordagem deve satisfazer três propriedades:

1. Sem Atualização de Pesos: Novas habilidades são aprendidas sem alterar os parâmetros do modelo congelado.
2. Transferência Composicional: Habilidades aprendidas devem compor-se com habilidades existentes, incluindo aquelas fora da distribuição (OOD) do conjunto de treinamento.
3. Composição Multi-habilidade: Múltiplas habilidades aprendidas independentemente devem ser combináveis zero-shot, sem treinamento conjunto em sua combinação específica.

2. Metodologia: Neologismos de Habilidade

Os autores propõem Neologismos de Habilidade, um método que integra tokens suaves diretamente no vocabulário do modelo para representar conhecimento procedimental específico.

Componentes Principais

• Treinamento Centrado em Habilidade: Ao contrário de conjuntos de dados centrados em tarefas, onde amostras dependem implicitamente de várias habilidades, os neologismos de habilidade são treinados em conjuntos de dados onde cada amostra requer a habilidade-alvo, misturada com outras habilidades já dominadas pelo modelo. Isso incentiva a aprendizagem de representações geralmente composicionais.
• Integração no Nível de Vocabulário: Um neologismo de habilidade consiste em um conjunto de tokens suaves aprendíveis (um "token de habilidade") adicionado à matriz de incorporação e ao vocabulário do modelo. Esses tokens são otimizados no conjunto de dados centrado em habilidade, enquanto o restante dos parâmetros do modelo permanece congelado.
• Função de Inserção: Os tokens de habilidade são inseridos no prompt por meio de uma função $\phi_S$ (por exemplo, substituindo uma palavra-chave ou anexando uma instrução) para ativar a habilidade específica durante a inferência.

Procedimento de Treinamento

1. Inicialização: Um conjunto de tokens suaves é inicializado (por exemplo, a partir da incorporação média de tokens de operação existentes) e adicionado ao vocabulário.
2. Otimização: Os tokens são treinados usando retropropagação através do modelo congelado em um conjunto de dados centrado em habilidade. A função de perda (por exemplo, entropia cruzada) é minimizada em relação apenas às incorporações dos tokens.
3. Avaliação: O desempenho é medido em combinações Dentro da Distribuição (ID) (habilidade-alvo + habilidades de treinamento) e combinações Fora da Distribuição (OOD) (habilidade-alvo + habilidades mantidas de fora).

3. Contribuições Principais

1. Proposta de Neologismos de Habilidade: O artigo introduz neologismos de habilidade como um caminho para a aprendizagem contínua baseada em habilidades, motivado por evidências empíricas de que LLMs pré-treinados exibem naturalmente tokens de vocabulário associados a conhecimento procedimental (por exemplo, o token "XOR" codifica a operação XOR melhor do que uma descrição em texto).
2. Demonstração de Propriedades Composicionais: Em configurações algorítmicas controladas, os autores mostram que os neologismos de habilidade satisfazem as três propriedades necessárias:
   • Eles aprendem sem atualizações de pesos.
   • Eles compõem-se com sucesso com habilidades OOD não vistas durante o treinamento.
   • Neologismos de habilidade treinados independentemente podem ser compostos zero-shot.
3. Análise de Ablação: O artigo analisa os mecanismos por trás do sucesso dos neologismos de habilidade, investigando especificamente o impacto da capacidade do token (comprimento) e a complexidade das combinações de habilidades nos dados de treinamento.

4. Resultados Experimentais

Os autores avaliaram o método em um conjunto de dados sintético envolvendo tarefas de transformação de sequências de dígitos (por exemplo, ordenação, adição, deslocamento) usando um modelo Qwen2.5-0.5B ajustado finamente.

• Comparação com Linha de Base: Neologismos de Habilidade foram comparados contra LoRA e Ajuste de Prompt.
  • Transferência Composicional (Propriedade 2): Embora LoRA e Ajuste de Prompt tenham alcançado alta precisão em combinações ID, eles falharam em generalizar para combinações OOD. Apenas Neologismos de Habilidade conseguiram consistentemente compor novas habilidades com habilidades mantidas de fora.
  • Composição Multi-habilidade (Propriedade 3): Neologismos de habilidade treinados independentemente para "SHIFT" e "INV-POL" foram combinados zero-shot. Neologismos de Habilidade superaram significativamente as linhas de base de Aprendizagem em Contexto (ICL) em vários comprimentos de sequência, demonstrando que os tokens capturam conhecimento procedimental reutilizável, em vez de dependerem da extração de padrões a partir de exemplos.
• Descobertas de Ablação:
  • Capacidade do Token: Existe um compromisso no comprimento do token. Embora maior capacidade ajude na aprendizagem, capacidade excessiva (por exemplo, comprimento > 20) reduziu a generalização OOD, sugerindo que capacidade limitada atua como um viés indutivo para representações composicionais.
  • Complexidade de Treinamento: O treinamento em composições mais complexas (por exemplo, combinações de 3 habilidades) melhorou a generalização para combinações OOD de 2 e 3 habilidades.
  • Inicialização: Embora a inicialização a partir de incorporações de habilidades pré-treinadas tenha oferecido melhorias marginais, a inicialização aleatória ainda produziu fortes capacidades de composição OOD.

5. Significado e Alegações

O artigo alega que neologismos de habilidade fornecem um caminho escalável rumo à aprendizagem contínua baseada em habilidades. Ao aproveitar as capacidades composicionais existentes do modelo e integrar tokens suaves no nível do vocabulário, essa abordagem permite a adição incremental de novas habilidades sem esquecimento catastrófico ou a necessidade de retreinamento conjunto.

Os autores posicionam este trabalho como uma prova de conceito em um cenário experimental controlado. Eles reconhecem limitações, incluindo a necessidade de construir conjuntos de dados diversos centrados em habilidades, a instabilidade inerente de otimização no treinamento de tokens suaves e o custo computacional da retropropagação através de todo o modelo durante o treinamento. No entanto, os resultados sugerem que intervenções no nível do vocabulário podem codificar efetivamente conhecimento procedimental, permitindo que LLMs expandam suas capacidades de maneira controlada e composicional.