Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models

Resumen Técnico: SFT de Habilidades Procedimentales a través de Niveles de Capacidad

Declaración del Problema
El artículo investiga si las instrucciones procedimentales explícitas durante el Ajuste Fino Supervisado (SFT) enseñan a los modelos de lenguaje más pequeños a utilizar eficazmente procedimientos de razonamiento en el momento de la inferencia, o si simplemente inducen a los modelos a imitar la forma de la respuesta (aprendizaje de formato). Específicamente, examina la contribución del SFT de habilidades procedimentales a través de diferentes niveles de capacidad de modelo (0.8B, 2B y 4B parámetros) utilizando la serie densa Qwen3.5. Un desafío central abordado es el potencial de artefactos de evaluación, particularmente sesgos de cumplimiento de formato en jueces deterministas, que pueden confundir el aprendizaje de formato con la aplicación procedimental genuina.

Metodología
El estudio emplea una pipeline autocontenida que involucra:

• Construcción de Datos: Un catálogo curado a mano de 40 habilidades declarativas (que cubren falacias lógicas, formas deductivas, sesgos cognitivos, etc.) reescritas en formas procedimentales por Opus 4.7. Un sintetizador generó 600 tareas (400 de entrenamiento, 200 de retención), asegurando una correspondencia 1:1 entre tarea y habilidad.
• Corpus de SFT: Un corpus curado de 353 filas en formato de chat generado trazando respuestas de Opus 4.7 con bloques de habilidades procedimentales inyectados. El corpus consiste en demostraciones de (prompt del sistema con bloque de habilidad, tarea del usuario, Cadena de Pensamiento del asistente + línea de RESPUESTA).
• Modelos: Tres modelos densos Qwen3.5 (0.8B, 2B, 4B) ajustados finamente usando LoRA. Se incluyó una referencia de frontera, Claude Haiku 4.5, para comparación.
• Protocolo de Evaluación:
  • Condiciones: Línea base (prompt de solucionador sin bloque de habilidad) vs. Curada (prompt de solucionador con bloque de habilidad procedimental coincidente).
  • Puntuación: Se utilizaron dos rutas: (1) Determinista-mixta (despacho nativo del banco utilizando extractores de regex para respuestas estructuradas y Opus 4.7 para formato libre), y (2) Solo LLM (juez Opus 4.7 para todos los tipos de tareas para eludir las puertas de cumplimiento de formato).
  • Métricas: Tasas de aprobación y el aumento diferencial ($\Delta = \text{tasa\_aprobación}_{\text{curada}} - \text{tasa\_aprobación}_{\text{línea base}}$).
  • Validación: Validación cruzada de familias utilizando GPT-5.4 en 2,800 episodios emparejados para acotar el sesgo de superposición de jueces.

Hallazgos Clave

1. Contribución Uniforme del SFT (Aumento $\Delta$): Bajo puntuación solo LLM de ruta coincidente, el aumento procedimental atribuible al SFT es aproximadamente uniforme a través de los tamaños de modelo: +0.070 (0.8B), +0.040 (2B) y +0.075 (4B). Esto sugiere que el trabajo diferencial que realiza el SFT (enseñar al modelo a usar el procedimiento vs. no usarlo) es invariante de la capacidad dentro de una banda de 4 puntos porcentuales.
2. Trayectoria Pre-SFT en Forma de W: La variación en el rendimiento post-SFT está dominada por una trayectoria base pre-SFT no monótona.
   • 0.8B: Hundimiento profundo ($\Delta = -0.075$). La base carece de capacidad para seguir el procedimiento de 5 pasos, lo que lleva a errores acumulativos.
   • 2B: Pico positivo ($\Delta = +0.060$). La base se encuentra en un "punto óptimo" donde el procedimiento de andamiaje verifica los controles que el modelo omitiría de otro modo.
   • 4B: Hundimiento superficial ($\Delta = -0.010$). La base es lo suficientemente competente para resolver tareas directamente; el procedimiento añade sobrecarga sin señal, lo que a veces lleva a conclusiones menos defendibles.
   • Frontera (Haiku-4-5): Positivo modesto ($\Delta = +0.030$).
3. Mecanismo Asimétrico de Régimen: El SFT trabaja más duro en términos absolutos donde la base lucha con el procedimiento. Rescata al modelo 0.8B de un régimen de incompetencia procedimental hacia la neutralidad e invierte el modelo 4B de un régimen de sobrecarga procedimental a uno donde el procedimiento es útil. El mecanismo es asimétrico de régimen en lugar de estrictamente condicional a la capacidad.
4. Artefacto de Cumplimiento de Formato: El estudio identifica un sesgo sistemático en el extractor de línea de RESPUESTA determinista utilizado por el 83.5% del banco. Este extractor subestima las conclusiones de prosa de formato libre, penalizando sistemáticamente la condición curada (donde las conclusiones a menudo están incrustadas en la narración procedimental) y la referencia de frontera (Haiku). La reevaluación solo LLM reveló este sesgo, mostrando que el rendimiento de Haiku mejoró en +18.5 pp en la condición curada cuando se eliminaron las restricciones de formato.
5. Techo de Capacidad 0.8B: Las variaciones iterativas de la receta en 0.8B (composición del corpus, ajuste fino parcial, eliminación de bloques de habilidad) no lograron elevar la tasa de aprobación absoluta más allá de una banda de 2 pp. Esto confirma que el techo absoluto de 0.8B está limitado por la capacidad de razonamiento base, no por la receta de SFT. Sin embargo, el aumento diferencial ($\Delta$) permaneció consistente con los modelos más grandes.
6. Paridad de Frontera: El modelo 4B con SFT (v2.0) empató con la referencia Haiku-4-5 en el techo efectivo del banco (tasa de aprobación 0.985) bajo puntuación justa. Esto se atribuye al SFT más la escalada de base, ya que la base 4B pre-SFT (0.840) no igualaba a Haiku.

Significado y Afirmaciones
El artículo afirma superar dos marcos anteriores: "aprendizaje solo de formato en 0.8B" (revelado como un artefacto de desajuste de ruta) y "la contribución del SFT se reduce en 4B" (revelado como un malentendido de la trayectoria de la línea base pre-SFT).

• Contribución Empírica: Proporciona evidencia de que el SFT de habilidades procedimentales ofrece un aumento diferencial consistente a través de escalas, pero el beneficio neto depende en gran medida del régimen procedimental preexistente del modelo base.
• Contribución Metodológica: Destaca un artefacto crítico de cumplimiento de formato en los benchmarks estándar que sesga las afirmaciones de SFT en contra de las condiciones curadas y los modelos de frontera. Demuestra la necesidad de una evaluación tolerante al formato (juzgamiento solo LLM) para separar el aprendizaje de formato de la aplicación procedimental.
• Predicción Falsable: El artículo predice que a escalas mayores (8B/14B), la trayectoria pre-SFT se recuperará hacia valores positivos (similar a Haiku), y el aumento $\Delta$ del SFT se reducirá hacia niveles de 2B a medida que la base se vuelva naturalmente favorable a los procedimientos.

Limitaciones
Los autores señalan explícitamente varias limitaciones:

• Evaluación de semilla única: Los resultados son estimaciones puntuales sin replicación de múltiples semillas.
• Superposición Corpus-Juez: Opus 4.7 se utilizó para la síntesis de tareas, la generación de trazas y el juzgamiento. Si bien la validación cruzada de familias (GPT-5.4) acota el sesgo de la etapa de juzgamiento, la superposición de generación de corpus sigue estructuralmente ilimitada.
• Alineación de Tareas: El banco mide la aplicación procedimental en tareas alineadas con procedimientos, no en el enrutamiento general de habilidades o el uso composicional de habilidades.
• Sin Control Genérico: El estudio no incluyó un entrenamiento de control en datos de ajuste fino de instrucciones genéricas para descomponer cuantitativamente las contribuciones de formato vs. procedimiento, aunque el aumento diferencial se argumenta como evidencia de este último.