💬 NLP

STaD: Scaffolded Task Design for Identifying Compositional Skill Gaps in LLMs

O artigo apresenta o framework STaD (Scaffolded Task Design), que utiliza variações controladas e incrementais de tarefas de benchmark para identificar sistematicamente lacunas específicas na composição de habilidades de raciocínio em grandes modelos de linguagem, superando as limitações das pontuações agregadas tradicionais.

Autores originais: Sungeun An, Swanand Ravindra Kadhe, Shailja Thakur, Chad DeLuca, Hima Patel

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Sungeun An, Swanand Ravindra Kadhe, Shailja Thakur, Chad DeLuca, Hima Patel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grupo de alunos muito inteligentes, mas que às vezes cometem erros estranhos em matemática. Você olha para a nota final deles e diz: "Ah, o aluno A tirou 80 e o aluno B tirou 80. Eles são iguais!". Mas será que são?

Talvez o aluno A saiba fazer tudo, mas se distraia com a letra da pergunta. Já o aluno B sabe a resposta, mas esquece de somar os números no meio do caminho. A nota final esconde essas diferenças.

É exatamente isso que o artigo "STaD" (Scaffolded Task Design) propõe resolver para as Inteligências Artificiais (LLMs).

Aqui está a explicação do conceito, usando analogias do dia a dia:

1. O Problema: A "Nota Média" Engana

Atualmente, testamos IAs com bancos de perguntas (benchmarks). Se a IA erra uma pergunta difícil, nós só sabemos que ela errou. Não sabemos por que.

Analogia: É como ver alguém tropeçar em uma escada. Você sabe que ele caiu, mas não sabe se tropeçou porque o sapato estava amarrado errado, porque estava com sono, ou porque a escada estava escorregadia.

2. A Solução: O "Andaime" (Scaffolding)

Os autores criaram um método chamado STaD. A palavra-chave aqui é "Andaime" (Scaffolding).

O que é um andaime? É aquela estrutura temporária que se coloca em volta de um prédio em construção para ajudar os pedreiros a trabalharem em segurança. Conforme o prédio fica forte, o andaime é removido.
Como funciona no teste: Em vez de apenas jogar a pergunta difícil na IA, o STaD cria versões "ajudadas" da mesma pergunta.
- Versão 1: A IA tenta sozinha. (Ela erra).
- Versão 2: O sistema diz: "Ok, eu já fiz a soma para você. Agora, só faça a multiplicação". (Ela ainda erra).
- Versão 3: O sistema diz: "Eu já fiz a soma e a multiplicação. Agora, só escreva o resultado final". (Ela acerta!).

3. A Descoberta: Onde está o "Buraco" na Habilidade?

Ao fazer isso passo a passo, o STaD descobre exatamente onde a IA quebra.

Analogia do Quebra-Cabeça: Imagine que a IA precisa montar um quebra-cabeça de 100 peças.
- Se ela erra a nota final, podemos pensar que ela é ruim em quebra-cabeças.
- Com o STaD, descobrimos que ela consegue montar as peças azuis e as vermelhas sozinha. Mas, quando precisa juntar uma peça azul com uma vermelha, ela trava.
- Conclusão: O problema não é que ela não sabe montar peças; o problema é que ela não sabe combinar duas habilidades diferentes ao mesmo tempo.

4. O Que Eles Encontraram?

O estudo testou várias IAs em problemas de matemática e raciocínio. As descobertas foram surpreendentes:

IAs "Iguais" são Diferentes: Duas IAs podem ter a mesma nota final, mas uma falha porque não entende a linguagem da pergunta, enquanto a outra falha porque não consegue somar números grandes. Elas têm "gaps" (lacunas) de habilidades totalmente diferentes.
Habilidade Isolada vs. Habilidade em Contexto: Algumas IAs são ótimas em fazer uma conta de multiplicar sozinha (isolada), mas quando essa conta precisa ser feita dentro de uma história complexa, elas falham. É como um músico que toca perfeitamente uma nota solta, mas erra quando precisa tocar junto com a banda.
O que é "Incurável"? O método também mostrou quais tarefas são impossíveis para a IA, mesmo com ajuda. Se você der a resposta de todos os passos intermediários e a IA ainda errar, significa que ela não tem a capacidade básica de entender aquele tipo de problema. É como tentar ensinar alguém a voar apenas dando instruções de como bater as asas; se a pessoa não tem as asas, o andaime não vai ajudar.

Resumo da Ópera

O STaD é como um médico que não apenas diz "o paciente está doente" (nota baixa), mas faz exames detalhados para descobrir exatamente qual órgão está falhando e se o problema é uma infecção simples (que se cura com ajuda) ou uma condição genética (que é mais difícil de resolver).

Isso ajuda os criadores de IA a saberem exatamente o que treinar: não é preciso treinar a IA inteira de novo, basta treinar a "combinação" específica de habilidades que ela está falhando.

Em suma: O STaD tira a IA da "zona de conforto" das notas médias e nos mostra, passo a passo, onde ela realmente precisa de ajuda para crescer.

Título: STaD: Design de Tarefa com Andaimagem para Identificar Lacunas de Habilidades Composicionais em LLMs

1. Problema

Os benchmarks atuais para avaliar Grandes Modelos de Linguagem (LLMs) frequentemente fornecem pontuações agregadas (médias de precisão) que mascaram as causas reais das falhas.

Visão Monolítica: As avaliações tratam tarefas complexas como blocos únicos. Um modelo pode ter a mesma pontuação geral que outro, mas falhar por razões completamente diferentes (ex: um falta conhecimento factual, outro não consegue combinar múltiplas habilidades de raciocínio).
Limitação das Abordagens Atuais:
- Chain-of-Thought (CoT): Torna o raciocínio explícito, mas é difícil de escalar e analisar sistematicamente; as explicações geradas nem sempre refletem o raciocínio interno real do modelo.
- Decomposição de Tarefas: Foca em melhorar o desempenho ou examinar passos individualmente, mas não diagnostica sistematicamente os modos de falha composicional (onde a falha ocorre na interação entre habilidades).
Necessidade: É necessário um método para identificar não apenas o que o modelo não sabe, mas onde e por que ele falha quando precisa combinar múltiplas habilidades de raciocínio em um contexto específico.

2. Metodologia: O Framework STaD

Os autores propõem o STaD (Scaffolded Task Design), um framework que adapta o conceito de "andaimagem" (scaffolding) da ciência cognitiva (suporte gradual removido conforme a proficiência aumenta) para a avaliação de LLMs. O objetivo não é melhorar o desempenho, mas usar o suporte como ferramenta diagnóstica.

O processo funciona em três fases principais:

A. Geração de Casos de Teste (Papel do "Modelo Professor")

Decomposição de Tarefas: O modelo professor ( $f_{teach}$ ) decompõe uma questão de benchmark original ( $q$ ) em uma sequência de $K$ sub-tarefas ( $s_1, ..., s_K$ ), onde cada uma representa uma operação lógica ou computacional única.
Cálculo de Respostas Intermediárias: O professor calcula as respostas parciais para cada sub-tarefa.
Geração de Variações com Andaimagem (Scaffolded Variations): O sistema cria $K-1$ variações da tarefa original. Em cada variação $j$ , as soluções das primeiras $j$ sub-tarefas são injetadas na pergunta, deixando o modelo alvo resolver apenas os passos restantes.
Verificação: Apenas as instâncias onde o modelo professor consegue recuperar a resposta final correta em todas as variações de andaimagem são mantidas, garantindo a consistência da decomposição.
Mapeamento de Habilidades: As sub-tarefas são agrupadas em habilidades de alto nível (ex: "Conversão de Unidades", "Raciocínio Temporal") usando clustering semântico.

B. Avaliação do Modelo Alvo

O modelo alvo ( $f_{target}$ ) é testado em:

Tarefa Original: Para estabelecer a linha de base de falha.
Tarefas com Andaimagem: Para medir como o desempenho evolui à medida que passos intermediários são fornecidos.

C. Métrica Chave: Nível Mínimo de Andaimagem ( $k$ )

Para cada questão falhada, define-se $k$ como o menor número de passos de suporte necessários para que o modelo acerte a resposta.

$k = 0$ : O modelo resolveu independentemente.
$k > 0$ : O modelo falhou sozinho, mas acertou com suporte nos primeiros $k$ passos (indica uma lacuna na composição ou no passo $k+1$ ).
$k = -1$ : O modelo falhou mesmo com toda a andaimagem (tarefa intratável para o modelo).

3. Contribuições Principais

Conceito de Competência com Andaimagem: Formaliza a avaliação de LLMs não apenas pelo que fazem sozinhos, mas pelo que conseguem fazer com suporte, distinguindo entre tarefas que se tornam solúveis com ajuda e aquelas que são fundamentalmente intratáveis.
Framework STaD: Um sistema automatizado para gerar variações de tarefas com suporte e mapear falhas para lacunas de habilidades composicionais. O código e os datasets foram liberados.
Estudo Empírico: Aplicação do framework em três benchmarks de raciocínio (ToT Arithmetic, GSM8K, Math-Hard) e seis modelos de tamanhos variados, revelando perfis de falha distintos que as pontuações agregadas ocultavam.

4. Resultados e Análise

Os experimentos revelaram que as falhas dos modelos são multifacetadas e que modelos com desempenho agregado similar possuem gargalos muito diferentes.

Identificação de Gargalos Composicionais:
- Muitos modelos possuem habilidades individuais (ex: aritmética básica) que funcionam bem isoladamente, mas falham quando precisam coordenar essas habilidades em sequência.
- Exemplo (ToT Arithmetic): A combinação de "Sobreposição de Tempo" + "Contagem de Slots Discretos" mostrou-se um gargalo crítico. Modelos que acertavam os passos isolados falhavam ao integrá-los.
- Exemplo (Math-Hard): A tradução de problemas de texto para álgebra foi o gargalo mais frequente, indicando que a dificuldade não estava apenas na matemática, mas na compreensão e estruturação do problema.
Diferenças entre Modelos:
- Modelos como Qwen e Granite mostraram padrões de falha distintos. Por exemplo, o Qwen3B e o Granite8B tinham pontuações totais similares no ToT, mas o Qwen falhava mais em combinações complexas de habilidades, enquanto o Granite tinha mais dificuldades em habilidades isoladas de parsing de data.
- Modelos maiores nem sempre superaram os menores em todas as combinações de habilidades; alguns modelos menores mostraram maior robustez em certas composições específicas.
Tarefas Intratáveis vs. Aprendíveis:
- O STaD distinguiu tarefas que se tornam solúveis com suporte (indicando que a lacuna é de coordenação) daquelas que permanecem intratáveis mesmo com toda a ajuda (indicando falta de capacidade fundamental ou compreensão do problema).
- No GSM8K, a maioria das tarefas foi resolvida independentemente ( $k=0$ ), sugerindo que os modelos dominam bem esse conjunto. No Math-Hard, a taxa de tarefas intratáveis foi significativamente maior.
Validação de Efeito: Experimentos de ablação confirmaram que o ganho de desempenho com andaimagem veio da injeção de valores intermediários corretos e não apenas da simplificação linguística ou vazamento de informação.

5. Significado e Implicações

O trabalho STaD oferece uma mudança de paradigma na avaliação de LLMs:

Diagnóstico Preciso: Permite ir além de "o modelo é ruim em matemática" para "o modelo falha ao combinar raciocínio temporal com conversão de unidades".
Direcionamento de Treinamento: Sugere que o treinamento deve focar na coordenação de habilidades e na estabilidade da integração de múltiplos passos, e não apenas na aquisição de habilidades isoladas.
Geração de Dados Sintéticos: Orienta a criação de dados sintéticos focados em combinações específicas de habilidades que causam falhas, em vez de apenas gerar mais exemplos de tarefas gerais.
Transparência: Oferece uma lente para entender a "caixa preta" dos LLMs, revelando onde o raciocínio quebra e quais tipos de suporte são necessários para superar essas limitações.

Em resumo, o STaD demonstra que a competência de um LLM é contextual e composicional, e que a avaliação deve refletir a complexidade da interação entre as habilidades, e não apenas o resultado final isolado.