STaD: Scaffolded Task Design for Identifying Compositional Skill Gaps in LLMs

Resumen Técnico: STaD (Diseño de Tareas Andamiadas)

1. El Problema

Los benchmarks actuales para evaluar Grandes Modelos de Lenguaje (LLMs) suelen proporcionar puntuaciones agregadas que ocultan las causas profundas de los fallos.

• Limitación de las puntuaciones agregadas: Un modelo puede obtener una puntuación baja en matemáticas sin que se sepa si es por falta de conocimiento, incapacidad para combinar habilidades o fallos en el razonamiento contextual.
• Brechas de habilidad composicional: Dos modelos con el mismo rendimiento global pueden tener deficiencias totalmente diferentes: uno puede carecer de una habilidad específica, mientras que otro puede tener las habilidades individuales pero fallar al integrarlas (composición).
• Insuficiencia de métodos existentes: El Chain-of-Thought (CoT) expone pasos intermedios pero es difícil de escalar y analizar sistemáticamente. La descomposición de tareas mejora el rendimiento pero no diagnostica sistemáticamente los modos de fallo.

2. Metodología: El Marco STaD

Los autores proponen STaD (Scaffolded Task Design), un marco que adapta el concepto psicológico de "andamiaje" (apoyo gradual que se retira a medida que aumenta la competencia) para evaluar LLMs. En lugar de usar el andamiaje para mejorar el rendimiento, lo utilizan como una herramienta de diagnóstico para revelar dónde y por qué fallan los modelos.

Componentes Clave del Proceso:

1. Descomposición de Tareas:

   • Un "Modelo Profesor" ($f_{teach}$) descompone cada pregunta de un benchmark en una secuencia de sub-tareas ($s_1, s_2, ..., s_K$), donde cada una representa una operación lógica o computacional única.
   • Se calculan respuestas intermedias para cada sub-tarea.

2. Generación de Variaciones Andamiadas (Scaffolded Variations):

   • Se crean $K-1$ variaciones controladas de la tarea original.
   • En la variación $j$, se proporcionan las soluciones correctas de los primeros $j$ pasos, obligando al modelo a resolver solo los pasos restantes ($j+1$ a $K$).
   • Esto permite aislar si el fallo ocurre en un paso específico o en la transición entre pasos.

3. Verificación y Mapeo de Habilidades:

   • Verificación: Solo se retienen las instancias donde el modelo profesor puede resolver correctamente todas las variaciones andamiadas, asegurando que la descomposición sea fiable.
   • Mapeo: Las sub-tareas se agrupan en habilidades de alto nivel (ej. "aritmética de duraciones", "conteo de slots discretos") mediante clustering semántico, permitiendo un análisis a nivel de habilidad en lugar de solo por pregunta.

4. Evaluación del Modelo Objetivo:

   • Se evalúa el modelo objetivo ($f_{target}$) en la tarea original y en las variaciones andamiadas.
   • Nivel Mínimo de Andamiaje ($k$): Se define como el número mínimo de pasos intermedios que deben proporcionarse para que el modelo resuelva la tarea correctamente.
     • $k=0$: Resuelto independientemente.
     • $k>0$: Requiere apoyo (indica una brecha de habilidad).
     • $k=-1$: Intractable incluso con apoyo total.

3. Contribuciones Principales

1. Concepto de Competencia Andamiada: Formalizan la evaluación de LLMs no solo por lo que pueden hacer solos, sino por lo que pueden lograr con apoyo estructurado, diferenciando entre tareas que son solubles con ayuda y aquellas que son fundamentalmente intractables.
2. Marco STaD: Introducen un sistema automatizado que genera variaciones de tareas con andamiaje para sondear sistemáticamente las brechas de habilidades composicionales. Se libera el código y los datasets.
3. Estudio Empírico: Aplicación del marco a tres benchmarks de razonamiento (ToT Arithmetic, GSM8K, Math-Hard) y seis modelos de diferentes tamaños, revelando patrones de fallo únicos y específicos de cada modelo.

4. Resultados Clave

El estudio se realizó en modelos como Qwen2.5, Granite y Llama de diferentes tamaños (3B a 8B).

• Fallos Multifacéticos: Modelos con puntuaciones agregadas similares exhiben perfiles de cuellos de botella muy diferentes.
  • Ejemplo: Qwen3B y Granite8B tienen un rendimiento similar en ToT, pero Qwen3B falla más en habilidades individuales aisladas, mientras que Granite8B falla principalmente al combinar múltiples habilidades.
• Habilidades Presentes pero Fallidas en Contexto: Muchas habilidades que parecen dominadas en pruebas aisladas (ej. "aritmética de duraciones") se convierten en cuellos de botella frecuentes cuando deben coordinarse con otras habilidades en una tarea secuencial.
• Interacciones de Habilidades: Los fallos a menudo no se deben a la falta de una habilidad, sino a la inestabilidad en su integración. Proporcionar andamiaje en la interacción de habilidades (ej. superposición de tiempo + conteo de slots) aumenta drásticamente la tasa de éxito en comparación con solo apoyar una habilidad.
• Distinción entre Tareas Aprendibles e Intractables:
  • En GSM8K, la mayoría de los fallos se resuelven con andamiaje ($k$ bajo), indicando que son brechas de razonamiento superables.
  • En Math-Hard y ToT, una porción significativa de tareas permanece intractable incluso con andamiaje completo, sugiriendo problemas más profundos de planificación o síntesis que van más allá de la falta de habilidades básicas.
• Cuellos de Botella Específicos:
  • ToT: Los fallos más comunes ocurren en la intersección de "superposición de tiempo" y "conteo de slots discretos".
  • Math-Hard: La traducción de problemas de texto a álgebra es el cuello de botella dominante.

5. Significado e Implicaciones

• Más allá de la precisión agregada: STaD demuestra que las puntuaciones de benchmark tradicionales son insuficientes para guiar el entrenamiento o la selección de modelos.
• Generación de Datos Sintéticos Dirigida: Sugiere que la generación de datos de entrenamiento debe enfocarse en combinaciones de habilidades problemáticas, no solo en habilidades individuales.
• Estrategias de Entrenamiento: Las intervenciones deben centrarse en la coordinación y el encadenamiento de habilidades (seguimiento de representaciones intermedias, reconciliación de restricciones) en lugar de solo en la adquisición de conocimientos factuales.
• Diagnóstico de Capacidad: Permite distinguir entre modelos que necesitan más datos de entrenamiento (habilidades faltantes) y aquellos que necesitan arquitecturas o estrategias de inferencia diferentes (integración inestable).

En conclusión, STaD ofrece una lente granular para entender la "caja negra" de los LLMs, transformando la evaluación de una métrica de "qué tan bien funciona" a un diagnóstico de "dónde y por qué falla", facilitando intervenciones de mejora más precisas.