Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models

Resumo Técnico: SFT de Habilidade Procedural em Níveis de Capacidade

Declaração do Problema
O artigo investiga se instruções procedurais explícitas durante o Ajuste Fino Supervisionado (SFT) ensinam modelos de linguagem menores a utilizar efetivamente procedimentos de raciocínio no momento da inferência, ou se meramente induzem os modelos a imitar a forma da resposta (aprendizado de formato). Especificamente, examina a contribuição do SFT de habilidade procedural através de diferentes níveis de capacidade de modelo (0,8B, 2B e 4B parâmetros) usando a série densa Qwen3.5. Um desafio central abordado é o potencial de artefatos de avaliação, particularmente vieses de conformidade de formato em juízes determinísticos, que podem confundir aprendizado de formato com aplicação procedural genuína.

Metodologia
O estudo emprega um pipeline autocontido envolvendo:

• Construção de Dados: Um catálogo curado manualmente de 40 habilidades declarativas (cobrindo falácias lógicas, formas dedutivas, vieses cognitivos, etc.) reescritas em formas procedurais pelo Opus 4.7. Um sintetizador gerou 600 tarefas (400 de treino, 200 de retenção), garantindo um mapeamento 1:1 de tarefa para habilidade.
• Corpus de SFT: Um corpus curado de 353 linhas em formato de chat gerado rastreando respostas do Opus 4.7 com blocos de habilidade procedural injetados. O corpus consiste em demonstrações (prompt do sistema com bloco de habilidade, tarefa do usuário, Cadeia de Pensamento do assistente + linha de RESPOSTA).
• Modelos: Três modelos densos Qwen3.5 (0,8B, 2B, 4B) ajustados finamente usando LoRA. Uma referência de fronteira, Claude Haiku 4.5, foi incluída para comparação.
• Protocolo de Avaliação:
  • Condições: Linha de base (prompt do solucionador sem bloco de habilidade) vs. Curada (prompt do solucionador com bloco de habilidade procedural correspondente).
  • Pontuação: Dois caminhos foram usados: (1) Misto-determinístico (disparo nativo do bench usando extratores regex para respostas estruturadas e Opus 4.7 para livre-forma), e (2) Apenas-LLM (juiz Opus 4.7 para todos os tipos de tarefa para contornar portões de conformidade de formato).
  • Métricas: Taxas de aprovação e o ganho diferencial ($\Delta = \text{taxa\_aprovação}_{\text{curada}} - \text{taxa\_aprovação}_{\text{base}}$).
  • Validação: Validação cruzada de família usando GPT-5.4 em 2.800 episódios emparelhados para limitar o viés de sobreposição do juiz.

Principais Descobertas

1. Contribuição Uniforme de SFT (Ganho-$\Delta$): Sob pontuação apenas-LLM de caminho correspondido, o ganho procedural atribuível ao SFT é aproximadamente uniforme entre os tamanhos de modelo: +0,070 (0,8B), +0,040 (2B) e +0,075 (4B). Isso sugere que o trabalho diferencial que o SFT realiza (ensinar o modelo a usar o procedimento vs. não usá-lo) é invariante à capacidade dentro de uma faixa de 4 pontos percentuais.
2. Trajetória Pré-SFT em Forma de W: A variação no desempenho pós-SFT é dominada por uma trajetória base pré-SFT não monotônica.
   • 0,8B: Vale profundo ($\Delta = -0,075$). A base carece de capacidade para seguir o procedimento de 5 etapas, levando a erros cumulativos.
   • 2B: Pico positivo ($\Delta = +0,060$). A base está em um "ponto ideal" onde o procedimento apoia verificações que o modelo de outra forma pularia.
   • 4B: Vale raso ($\Delta = -0,010$). A base é competente o suficiente para resolver tarefas diretamente; o procedimento adiciona sobrecarga sem sinal, às vezes levando a conclusões menos defensáveis.
   • Fronteira (Haiku-4-5): Positivo modesto ($\Delta = +0,030$).
3. Mecanismo Assimétrico de Regime: O SFT trabalha mais duro em termos absolutos onde a base luta com o procedimento. Ele resgata o modelo 0,8B de um regime de incompetência procedural para neutro e inverte o modelo 4B de um regime de sobrecarga procedural para um regime onde o procedimento é útil. O mecanismo é assimétrico de regime e não estritamente condicional à capacidade.
4. Artefato de Conformidade de Formato: O estudo identifica um viés sistemático no extrator de linha de RESPOSTA determinístico usado por 83,5% do bench. Este extrator subconta conclusões em prosa livre-forma, penalizando sistematicamente a condição curada (onde conclusões são frequentemente embutidas em narração procedural) e a referência de fronteira (Haiku). A reavaliação apenas-LLM revelou esse viés, mostrando que o desempenho do Haiku melhorou em +18,5 pontos percentuais na condição curada quando as restrições de formato foram removidas.
5. Teto de Capacidade 0,8B: Variações iterativas de receita em 0,8B (composição de corpus, ajuste fino parcial, remoção de blocos de habilidade) falharam em elevar a taxa de aprovação absoluta além de uma faixa de 2 pontos percentuais. Isso confirma que o teto absoluto do 0,8B é limitado pela capacidade de raciocínio base, não pela receita de SFT. No entanto, o ganho diferencial ($\Delta$) permaneceu consistente com modelos maiores.
6. Paridade de Fronteira: O modelo 4B com SFT (v2.0) empatou com a referência Haiku-4-5 no teto efetivo do bench (taxa de aprovação de 0,985) sob pontuação justa. Isso é atribuído ao SFT mais escalamento de base, já que a base 4B pré-SFT (0,840) não correspondia ao Haiku.

Significado e Alegações
O artigo alega superar duas formulações anteriores: "aprendizado apenas de formato em 0,8B" (revelado como um artefato de incompatibilidade de caminho) e "contribuição do SFT encolhe em 4B" (revelado como um mal-entendido da trajetória de linha de base pré-SFT).

• Contribuição Empírica: Fornece evidências de que o SFT de habilidade procedural entrega um ganho diferencial consistente através de escalas, mas o benefício líquido depende fortemente do regime procedural pré-existente do modelo base.
• Contribuição Metodológica: Destaca um artefato crítico de conformidade de formato em benchmarks padrão que vicia alegações de SFT contra condições curadas e modelos de fronteira. Demonstra a necessidade de avaliação tolerante a formato (avaliação apenas-LLM) para separar aprendizado de formato de aplicação procedural.
• Previsão Falseável: O artigo prevê que em escalas maiores (8B/14B), a trajetória pré-SFT se recuperará em direção a valores positivos (semelhante ao Haiku), e o ganho-$\Delta$ do SFT encolherá em direção aos níveis de 2B à medida que a base se tornar naturalmente favorável a procedimentos.

Limitações
Os autores notam explicitamente várias limitações:

• Avaliação de Semente Única: Os resultados são estimativas pontuais sem replicação multi-semente.
• Sobreposição Corpus-Juiz: O Opus 4.7 foi usado para síntese de tarefas, geração de rastros e julgamento. Embora a validação cruzada de família (GPT-5.4) limite o viés da etapa de julgamento, a sobreposição de geração de corpus permanece estruturalmente ilimitada.
• Alinhamento de Tarefa: O bench mede aplicação procedural em tarefas alinhadas a procedimentos, não roteamento geral de habilidades ou uso composicional de habilidades.
• Sem Controle Genérico: O estudo não incluiu um treinamento de controle em dados de ajuste fino de instruções genéricas para decompor quantitativamente contribuições de formato vs. procedimento, embora o ganho diferencial seja argumentado como evidência deste último.