Resumo Técnico: Rumo a LLMs Nativos de Habilidades: Entropia de Habilidade para Benchmarking e Treinamento de Raciocínio de Longo Horizonte

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) recentes demonstraram capacidades robustas em raciocínio de longo horizonte, impulsionando o progresso em pesquisa profunda, agentes de codificação e planejamento de múltiplas etapas. No entanto, tarefas de longo horizonte do mundo real frequentemente exigem raciocínio entre habilidades (cross-skill reasoning): uma única cadeia de pensamento deve alternar fluidamente entre distintas habilidades de raciocínio (por exemplo, de uma derivação matemática para o planejamento de cronograma, e então para a extração de informações).

Os benchmarks existentes tipicamente avaliam habilidades individuais isoladamente ou encadeiam etapas dentro de um único domínio. Eles carecem de um mecanismo principado para medir ou abordar a dificuldade de alternar entre diferentes habilidades dentro de uma cadeia de raciocínio. Observações empíricas sugerem que, embora os modelos de fronteira tenham um bom desempenho em benchmarks de habilidade única, eles exibem fragilidade em tarefas composicionais de múltiplas habilidades. Esse "gap de alternância de habilidades" persiste mesmo quando o modelo lida bem com cada componente de habilidade isoladamente, indicando que a capacidade de alternar habilidades é uma capacidade ortogonal à competência de domínio específico.

2. Metodologia

2.1 Entropia de Habilidade (SkE)

Os autores introduzem a Entropia de Habilidade (Skill Entropy), uma medida pareada direcionada que quantifica a dificuldade de alternar de uma habilidade $s_a$ para outra $s_b$.

• Definição: A Entropia de Habilidade é definida como uma razão suavizada entre a precisão média de habilidade única e a precisão de múltiplas habilidades sob um modelo de referência fixo.
  $$\text{SkE}(s_a, s_b) = \frac{\frac{1}{2}(\text{Precisão}(s_a) + \text{Precisão}(s_b)) + \alpha}{\text{Precisão}(s_a, s_b) + \alpha}$$
  onde $\alpha$ é uma constante de suavização de Laplace.
• Interpretação: Um valor $>1$ indica que o encadeamento das duas habilidades adiciona uma dificuldade significativa em comparação ao tratamento delas isoladamente (difícil de alternar). Um valor $\le 1$ sugere que a alternância é fácil.
• Métrica de Nível de Tarefa: Para uma tarefa de múltiplas habilidades $\tau$ com uma sequência de habilidades $(s_1, \dots, s_L)$, a entropia de habilidade de nível de tarefa é a média das entropias pareadas ao longo da sequência:
  $$\text{SkE}(\tau) = \frac{1}{L-1} \sum_{i=1}^{L-1} \text{SkE}(s_i, s_{i+1})$$

2.2 Skill2-Bench

Com base no framework de Entropia de Habilidade, os autores constroem o Skill2-Bench, um benchmark para raciocínio de longo horizonte de múltiplas habilidades.

• Escopo: Cobre 558 habilidades em 9 domínios: Matemática, Ciência, Codificação, Lógica, Extração de Informação, Planejamento, Escrita Criativa, Recuperação de Contexto e Seguimento de Instruções.
• Construção: As tarefas são sintetizadas amostrando sequências de habilidades em níveis específicos de entropia (Baixa, Média, Alta) e reescrevendo perguntas semente em um cenário coerente onde cada etapa depende da saída anterior.
• Protocolo de Avaliação: Os modelos são avaliados em dois modos:
  1. Modo de Habilidade Única: As etapas são respondidas isoladamente.
  2. Modo de Múltiplas Habilidades: A tarefa completa de longo horizonte é apresentada, exigindo a alternância sequencial.

2.3 RL de Entropia de Habilidade (Skill-Entropy RL)

Para abordar o gap identificado, os autores propõem um framework de Aprendizado por Reforço, o Skill-Entropy RL, que utiliza a entropia de habilidade como um sinal de treinamento.

• Formato de Saída: O modelo é treinado para emitir uma resposta estruturada para cada etapa, prevendo explicitamente tanto a habilidade utilizada quanto a resposta:
  <skill> Domínio_Habilidade </skill><answer> Resposta_da_Etapa </answer>
• Função de Recompensa: A recompensa total $r$ combina a correção ao nível da etapa ($r_{ans}$) com uma recompensa de entropia de habilidade ($r_{ent}$):
  $$r = \lambda_{ans} r_{ans} + \lambda_{ent} r_{ent}$$
  • $r_{ans}$: Precisão média por etapa baseada em pontuadores específicos de domínio.
  • $r_{ent}$: Mede o alinhamento entre a sequência de habilidades prevista e a sequência de habilidades de referência (gold) ao comparar seus rankings de entropia de habilidade de nível de tarefa. Isso incentiva o modelo a prever uma cadeia de habilidades que corresponda ao perfil de dificuldade do ground truth.
• Pipeline de Treinamento: O método utiliza um processo de dois estágios: Ajuste Fino Supervisionado (SFT) em traços anotados com habilidades, seguido de Otimização de Política Relativa de Grupo (GRPO) usando a recompensa composta.

3. Resultados Principais

3.1 Descobertas de Benchmarking (Skill2-Bench)

• Gap de Alternância de Habilidades: A avaliação de 8 modelos de fronteira e 4 modelos de código aberto revela uma queda consistente de desempenho conforme a entropia de habilidade da tarefa aumenta. A precisão diminui quase monotonicamente de tarefas de baixa para alta entropia.
• Penalidade de Múltiplas Habilidades: Quando as mesmas habilidades são exercitadas dentro de uma tarefa de múltiplas habilidades em vez de isoladamente, a precisão cai de 4% a 13% entre os modelos. Essa penalidade persiste mesmo para habilidades nas quais o modelo é altamente proficiente isoladamente (ex: Lógica).
• Análise de Modo de Falha: O modo de falha dominante é a inércia de habilidade. Nas etapas posteriores de uma tarefa, os modelos tendem a reutilizar a habilidade e a modalidade de resposta da etapa anterior em vez de alternar para a habilidade necessária. Por exemplo, um modelo pode continuar usando uma habilidade de "Matemática" com um formato de resposta numérica quando a próxima etapa exige "Escrita Criativa" com um texto.

3.2 Desempenho de Treinamento (Skill-Entropy RL)

• Melhorias Significativas: No Qwen3-4B-Instruct, o Skill-Entropy RL melhorou a pontuação do Skill2-Bench de 34,4% para 68,4%. No Qwen3-1.7B, a pontuação melhorou de 14,6% para 40,1%.
• Comparação: O método supera baselines competitivos, incluindo o GRPO padrão (sem a recompensa de entropia), SFT e outros métodos de pós-treinamento conscientes de habilidade (Skill-Distill, SkillRL, STAT).
• Generalização:
  • Domínios Abertos: Apesar de treinar apenas em domínios verificáveis, o modelo mostrou ganhos em domínios abertos (Escrita Criativa, Recuperação de Contexto), sugerindo que o sinal de entropia de habilidade se transfere para domínios não vistos.
  • Dados Prontos para Uso (Off-the-Shelf): O pipeline foi aplicado com sucesso ao OpenR1-Math, um conjunto de dados que originalmente não era estruturado com sequências explícitas de habilidades. Ao anotar os traços existentes com habilidades, a recompensa de entropia de habilidade continuou a melhorar o desempenho, demonstrando sua reutilizabilidade.

4. Significância e Alegações

O artigo afirma abordar uma lacuna crítica na avaliação e treinamento de LLMs para raciocínio complexo:

1. Nova Métrica: Introduz a Entropia de Habilidade como uma medida pareada direcionada e principada para quantificar a dificuldade de alternância de habilidades, indo além da avaliação de domínio único.
2. Benchmark: O Skill2-Bench fornece o primeiro benchmark de larga escala (558 habilidades, 9 domínios) calibrado por esta métrica, expondo um "gap de alternância de habilidades" estrutural que as avaliações de domínio único não detectam.
3. Sinal de Treinamento: Demonstra que a entropia de habilidade não é apenas uma ferramenta de diagnóstico, mas um sinal de treinamento reutilizável. Ao incorporá-la na função de recompensa de RL, os modelos aprendem a gerenciar explicitamente transições de habilidades, melhorando significativamente as capacidades de raciocínio de longo horizonte.
4. Identificação de Modo de Falha: O trabalho identifica concretamente a "inércia de habilidade" (reutilização da habilidade/modalidade da etapa anterior) como uma causa primária de falha em tarefas de múltiplas habilidades e fornece um mecanismo para mitigá-la.

Os autores concluem que lidar com trocas de habilidades é uma capacidade ortogonal à competência de domínio e que LLMs "Nativos de Habilidade" — modelos treinados para prever e gerenciar explicitamente suas próprias sequências de habilidades — são um caminho viável para um raciocínio de longo horizonte robusto.