Characterizing Model-Native Skills

Título: Characterizing Model-Native Skills

Autores: Feiyang Kang, Mahavir Dabas, Myeongseob Ko & Ruoxi Jia (Virginia Tech)
Status: Pré-impressão (Under review)

1. O Problema

As "habilidades" são a unidade natural para descrever o que um modelo de linguagem (LLM) pode fazer e como seu comportamento pode ser alterado. No entanto, as caracterizações de habilidades existentes dependem quase exclusivamente de:

• Taxonomias escritas por humanos.
• Descrições textuais manuais.
• Pipelines de perfilagem manual.

Essas abordagens são hipóteses externas que podem não alinhar-se com as representações internas do modelo. Diferentes modelos podem organizar os mesmos dados de maneiras distintas, mas uma taxonomia externa impõe as mesmas categorias independentemente do modelo. Quando o objetivo é intervir no comportamento de um modelo específico (seleção de dados de treinamento, direcionamento de comportamento ou balanceamento de cobertura), a caracterização deve ser nativa do modelo (model-native), ou seja, fundamentada em suas próprias representações internas, e não imposta externamente.

2. Metodologia: AUTOSKILL

Os autores propõem uma nova abordagem chamada AUTOSKILL, que recupera uma base ortogonal compacta diretamente das ativações do modelo.

• Fundamento Teórico: A caracterização deve ser composicional, compacta e fundamentada no espaço de representação do modelo. Isso aponta para a recuperação de uma base ortogonal no espaço de ativação.
• Processo de Extração:
  1. Representação de Ativação: Cada sequência de texto (ex: solução de um problema matemático) é representada como um vetor de ativação. Para tarefas de raciocínio, utiliza-se mean pooling (média) sobre as ativações de todos os tokens e camadas. Para segurança, usa-se a ativação do primeiro token gerado.
  2. Análise de Componentes Principais (PCA): Aplica-se PCA à matriz de ativações centralizada para recuperar uma base ortogonal. Os vetores principais (direções) capturam as variações dominantes no comportamento do modelo.
  3. Interpretação: As direções são interpretadas post hoc analisando os exemplos que pontuam mais alto e mais baixo em cada eixo (os "polos"). Um LLM (GPT-5) resume as diferenças semânticas entre esses polos para rotular a habilidade (ex: "Derivações de cálculo simbólico" vs. "Raciocínio discreto conceitual").
• Intervenção:
  • Seleção de Dados (SFT): Identifica-se quais direções são mais úteis para um modelo específico usando intervenções-proxy leves (fine-tuning piloto ou steering em tempo de inferência). Em seguida, selecionam-se dados do conjunto de candidatos com alta similaridade de cosseno para essas direções.
  • Direcionamento em Tempo de Inferência (Steering): As mesmas direções recuperadas servem como vetores de steering. Adiciona-se um vetor escalado às camadas ocultas (ou ajusta-se os parâmetros de viés nas camadas finais para compatibilidade com pipelines como vLLM) para guiar a geração do modelo em direção a um polo específico da habilidade.

3. Contribuições Principais

1. Argumento Teórico: Defende que a caracterização de habilidades para intervenção deve ser nativa do modelo, formalizada como a busca por uma base de habilidades compacta e fundamentada em representações.
2. Implementação (AUTOSKILL): Um método que recupera uma base ortogonal das ativações de nível de sequência, suportando seleção de dados, steering em tempo de inferência e cobertura de segurança orçada a partir de uma única caracterização.
3. Validação Empírica: Demonstração de que a seleção de dados baseada em habilidades nativas supera baselines baseadas em habilidades humanas, e que as mesmas direções latentes podem ser usadas para direcionamento de comportamento e tuning de segurança mais eficiente.

4. Resultados Experimentais

Caso de Estudo I: Pós-treinamento para Raciocínio (Matemática)

• Configuração: Testado em Llama3-8B e Qwen2.5-3B usando dados de raciocínio matemático (GSM8K, MATH-500, AMC).
• Descoberta de Eixos: Os modelos organizam o comportamento em eixos diferentes. Por exemplo, no Llama, o polo positivo do eixo principal é "derivações de cálculo simbólico" e o negativo é "raciocínio discreto conceitual". No Qwen, o polo positivo é "provas de estratégia combinatória" e o negativo é "cálculos simbólicos". Isso prova que a caracterização se adapta ao modelo, não apenas ao conjunto de dados.
• Desempenho:
  • A seleção de dados ao longo das direções nativas melhorou o Pass@1 em até 20% no MATH-500 e 41% no AMC em comparação com a seleção aleatória.
  • Superou métodos baseados em taxonomias humanas (como s1.1, LIMO e STAT), que muitas vezes não transferem bem entre modelos diferentes.
  • Direcionamento em Tempo de Inferência: O uso das direções recuperadas como vetores de steering melhorou o Pass@8 em até 4,8% no MATH-500, uma intervenção impossível de realizar com habilidades caracterizadas externamente.

Caso de Estudo II: Alinhamento de Segurança

• Contexto: Seleção de dados adversariais (jailbreaks) sob orçamentos restritos.
• Descoberta: Prompts de jailbreak textualmente diversos frequentemente se sobrepõem no espaço de ativação (são redundantes para o modelo).
• Resultado: Selecionar exemplos adversariais para cobrir a cobertura de habilidades nativas (no espaço latente) em vez de diversidade textual resultou em um aprendizado de robustez mais eficiente em termos de amostras. O método AUTOSKILL obteve mais recusas explícitas (refusals) do que a amostragem aleatória em todos os orçamentos testados, especialmente em orçamentos baixos.

5. Significado e Conclusão

O trabalho demonstra que recuperar habilidades das representações internas do modelo fornece uma base mais eficaz para intervir no comportamento do que impor estruturas externas.

• Eficiência: Permite selecionar dados de treinamento que maximizam o aprendizado para o modelo específico, superando curadoria manual.
• Versatilidade: A mesma caracterização latente serve tanto para melhorar capacidades (raciocínio) quanto para mitigar riscos (segurança).
• Interpretabilidade: Embora as direções sejam descobertas matematicamente, elas são semanticamente interpretáveis e capturam contrastes comportamentais que humanos podem não perceber ou categorizar corretamente.

Em suma, o AUTOSKILL propõe uma mudança de paradigma: em vez de tentar mapear o mundo humano para o modelo, devemos extrair a estrutura do modelo para entender e controlar suas capacidades de forma mais precisa e eficiente.