💻 computer science

What Makes a Programming Problem Hard for a Language Model? An Empirical Study of Item Difficulty Across Code LLMs on Two Benchmarks

Este artigo apresenta um estudo empírico demonstrando que a dificuldade dos problemas em benchmarks de geração de código é uma métrica estável e transferível, impulsionada por características da especificação (como exemplos e comprimento do prompt) no HumanEval e pela complexidade da solução no MBPP, oferecendo insights críticos para a melhoria de benchmarking, avaliação automática e design de ferramentas educacionais à medida que as pontuações agregadas dos modelos saturam.

Autores originais: TANZIM ISLAM KHAN

Publicado 2026-07-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: TANZIM ISLAM KHAN

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca mágica de enigmas gigantesca e convidou todo um zoológico de diferentes "solucionadores" de IA para tentar decifrá-los. Alguns solucionadores são pequenos hamsters com cérebros grandes (modelos pequenos) e outros são elefantes gigantes e superinteligentes (como o GPT-4). Geralmente, quando verificamos o quão inteligentes essas IAs são, damos a elas apenas uma única pontuação, como uma nota final na escola. Mas este artigo argumenta que uma nota única é entediante e enganosa. É como dizer que um teste de matemática é "difícil" só porque você tirou um C, sem perguntar: Quais questões foram as complicadas? Foram os problemas matemáticos longos ou aqueles sem exemplos?

O autor, Tanzim Islam Khan, decidiu parar de olhar para a nota final e começar a olhar para os próprios enigmas. Ele pegou dois conjuntos famosos de enigmas de codificação (chamados HumanEval e MBPP) e os submeteu a um experimento massivo. Ele pegou as respostas de 31 modelos de IA diferentes (variando de modelos minúsculos de 1 bilhão de parâmetros até o gigante GPT-4) e executou cada resposta individualmente em um ambiente isolado e seguro (sandbox) para ver se ela realmente funcionava. Isso são 13.400 execuções, só para constar!

A Grande Descoberta: O Que Torna um Enigma Difícil?

O artigo descobriu algo surpreendente que muda nossa forma de pensar sobre "dificuldade".

No conjunto HumanEval (os enigmas com descrições longas e muitos exemplos de respostas), a dificuldade não dependia de quão complicado era o código da solução. Dependia inteiramente de como o enigma era escrito.

A Pista Mágica: Se o enigma incluía exemplos práticos (como mostrar à IA: "Aqui está a entrada A, aqui está a saída B"), a IA resolvia facilmente. Quanto mais exemplos, mais fácil era.
A Armadilha: Se o enigma fosse longo e prolixo, ou se carecesse desses exemplos úteis, a IA tinha dificuldades, mesmo que o código necessário para resolvê-lo fosse simples.
A Prova: Os autores construíram uma máquina de previsão. Quando alimentaram essa máquina apenas com o texto do enigma (o prompt), ela conseguia prever o quão difícil o enigma era com um $R^2$ de 0,45 de validação cruzada, o que correspondia ao desempenho do modelo completo. Mas quando a alimentaram apenas com a complexidade do código da solução (como contar loops ou variáveis), ela mal sabia qualquer coisa ( $R^2$ de 0,11).

A Reviravolta: O Outro Livro de Enigmas

Depois, eles olharam para o conjunto MBPP. Esses enigmas são diferentes; são super curtos, como sussurros de uma frase, e sem exemplos nenhum.

Aqui, as regras se inverteram! Como todos os enigmas pareciam iguais (curtos e vagos), o texto não dizia à IA o que fazer. Em vez disso, a dificuldade dependia de quão difícil a solução realmente era.
Se o código exigia lógica complexa, a IA falhava. Se o código era simples, a IA tinha sucesso.
A Lição: Um problema é difícil para uma IA com base no que parte das instruções é a mais variável. Se as instruções variam muito (como no HumanEval), as instruções comandam. Se as instruções são todas iguais (como no MBPP), a complexidade da resposta comanda.

O Que o Artigo Esclarece

O artigo argumenta explicitamente contra a ideia de que "um código mais difícil sempre equivale a um problema mais difícil".

Eles mediram a complexidade das soluções de referência (usando coisas como "complexidade ciclomática" e "volume de Halstead") e descobriram que, no HumanEval, esses números eram preditores muito mais fracos de dificuldade do que as características do prompt. Uma solução complexa não era necessariamente mais difícil de gerar se as instruções fossem claras e cheias de exemplos.
Eles também descartaram a ideia de que a dificuldade é apenas um acaso de quais modelos de IA você decide testar. Eles provaram que a dificuldade é uma propriedade estável do próprio problema. Quer você teste uma IA do tamanho de um hamster ou um elefante, os mesmos enigmas continuam sendo os mais difíceis e os mais fáceis. Eles até verificaram isso removendo um modelo de cada vez, e o ranking não mudou (correlação $\rho \ge 0,99$ ).

O Quão Certos Estamos?

Os autores estão muito confiantes, mas são cuidadosos com suas palavras.

Eles mediram isso diretamente, executando o código 13.400 vezes em um sandbox.
Eles provaram a estabilidade testando contra uma versão "fortalecida" dos testes (que possui 80 vezes mais verificações para o HumanEval e 35 vezes mais para o MBPP). Mesmo com esses testes mais rigorosos, o ranking de problemas difíceis versus fáceis permaneceu quase o mesmo (correlação $\rho = 0,88$ ).
Eles simularam (ou melhor, reexecutaram) os resultados com configurações diferentes (como alterar a "temperatura" para tornar a IA mais aleatória) e descobriram que o ranking de dificuldade permaneceu consistente ( $\rho = 0,87$ ).
Eles sugeriram que, à medida que as IAs ficam mais inteligentes e começam a resolver quase tudo nesses testes antigos (saturação), olhar para quais problemas específicos ainda são difíceis se tornará ainda mais importante.

O Contexto Futuro

O artigo também dá uma espiada no "futuro" (conforme a linha do tempo do artigo em junho de 2026). Ele observa que as IAs mais novas e superpoderosas (como GPT-5.x e Claude Opus 4.8) basicamente pararam de usar esses enigmas antigos porque são fáceis demais para elas agora. A fronteira se moveu para tarefas de codificação do mundo real muito mais difíceis. Mas a lição permanece: conforme os problemas fáceis desaparecem, entender por que os que restam são difíceis torna-se a chave para construir melhores ferramentas.

Em Resumo

Se você quer saber se um problema de codificação é difícil para uma IA, não olhe apenas para o código que ela precisa escrever. Olhe para as instruções!

Instruções ricas com exemplos? A IA passará voando, não importa o quão complexo seja o código.
Instruções vagas ou sem exemplos? A IA terá dificuldades, mesmo que o código seja simples.
Instruções curtas, de uma frase? Então a complexidade do próprio código é o que torna o problema difícil.

O artigo nos dá um mapa para prever essas dificuldades sem sequer precisar rodar a IA, simplesmente lendo o enunciado do problema. É uma ferramenta para professores criarem melhores exercícios e para engenheiros construírem melhores benchmarks, garantindo que não estamos apenas testando se uma IA consegue adivinhar a resposta, mas se ela consegue realmente entender o enigma.

Resumo Técnico: O Que Torna um Problema de Programação Difícil para um Modelo de Linguagem?

Definição do Problema

As práticas atuais de avaliação para modelos de linguagem de grande escala (LLMs) geradores de código dependem fortemente de métricas agregadas como pass@k em benchmarks como HumanEval e MBPP. Essa abordagem trata todos os problemas como intercambiáveis, obscurecendo quais problemas específicos são difíceis e o porquê. Consequentemente, falha em distinguir entre a capacidade geral de um modelo e as características específicas dos itens que ele resolve. O artigo aborda a necessidade de tratar o problema (item) como a unidade de análise, separando a dificuldade do item da habilidade do modelo para compreender os determinantes da dificuldade em tarefas de geração de código.

Metodologia

O estudo emprega uma abordagem empírica baseada em dados, fundamentada na Teoria de Resposta ao Item (IRT) e modelagem preditiva.

Fonte de Dados: Os autores utilizaram conclusões greedy (gananciosas) liberadas publicamente pelo projeto EvalPlus. O estudo abrange 31 modelos distintos (variando de ~1B a escala GPT-4) no HumanEval (164 problemas) e 22 modelos no MBPP (378 problemas).
Harness de Execução: Em vez de confiar em pontuações pré-computadas, os autores reexecutaram todas as 13.400 conclusões em um ambiente Python isolado (sandboxed) com um tempo limite de 12 segundos. Isso gerou matrizes de resposta binária (31×164 para HumanEval; 22×378 para MBPP).
Operacionalização da Dificuldade:
- Dificuldade Empírica: Definida como $1 - \text{taxa de solução}$ (a fração de modelos que falham em um problema específico).
- Validação por IRT: Um modelo logístico de um parâmetro (Rasch) foi ajustado para separar a habilidade do modelo ( $\theta$ ) da dificuldade do item ( $b$ ). Os autores confirmaram que a taxa de falha bruta entre modelos correlaciona-se quase perfeitamente ( $\rho \approx 1.00$ ) com a dificuldade derivada de Rasch, validando o uso da métrica mais simples.
Extração de Características: 36 características estáticas foram extraídas por problema, categorizadas em:
- Características do Prompt: Comprimento, legibilidade, número de exemplos resolvidos, presença de dicas de tipo (type hints), etc.
- Características da Solução de Referência: Métricas de complexidade de código (complexidade ciclomática de McCabe, volume de Halstead, contagens de nós AST, profundidade de aninhamento, etc.).
- Características do Conjunto de Testes: Número de asserções, contagem de caracteres.
Análise: O estudo utilizou análise de correlação (Spearman/Pearson com correção de Benjamini-Hochberg) e aprendizado de máquina (Regressão Ridge, Florestas Aleatórias, Gradient Boosting) com validação cruzada de 10 dobras para prever a dificuldade. A robustez foi testada via leave-one-model-out, reamostragem bootstrap, transferência entre níveis de capacidade, reavaliação contra conjuntos de testes endurecidos (HumanEval+/MBPP+) e amostragem de temperatura.

Principais Resultados

1. A Dificuldade é uma Propriedade Estável e Mensurável

Distribuição: A dificuldade é amplamente distribuída, não concentrada. No HumanEval, a taxa média de solução através do painel de 31 modelos foi de 0,29, com alguns problemas resolvidos por 0% dos modelos e outros por 100%.
Estabilidade: O ranking de dificuldade é altamente robusto. Remover qualquer único modelo deixa o ranking virtualmente inalterado ( $\rho \ge 0,99$ ). O ranking também se transfere entre níveis de capacidade (modelos mais fracos vs. mais fortes), com correlações de Spearman de 0,78 (HumanEval) e 0,79 (MBPP).
Alinhamento com Rasch: O modelo Rasch confirma que a dificuldade é uma propriedade latente do item, independente do painel de solucionadores específico utilizado.

2. O Sinal Preditivo Depende do Estilo de Especificação

O estudo identifica uma divergência crítica no que prediz a dificuldade entre os dois benchmarks:

HumanEval (Prompts Ricos): A dificuldade é prevista primariamente por características do prompt ( $R^2 = 0,45$ $R^{2} = 0, 45$ ), o que coincide com o desempenho do conjunto completo de características ( $R^2 = 0,46$ $R^{2} = 0, 46$ ).
- Preditores Mais Fortes: O número de exemplos de entrada-saída resolvidos (correlação negativa com a dificuldade) e a presença de dicas de tipo tornam os problemas mais fáceis. Prompts e docstrings mais longos correlacionam-se com maior dificuldade.
- Complexidade da Solução: Características de complexidade da solução de referência explicam muito pouca variância ( $R^2 = 0,11$ ).
MBPP (Prompts Concisos): A dificuldade é prevista primariamente por características de complexidade da solução ( $R^2 = 0,13$ $R^{2} = 0, 13$ ).
- Contexto: Os prompts do MBPP são uniformemente curtos, descrições de frase única, sem exemplos resolvidos. Consequentemente, as características do prompt têm pouca variância para contribuir.
- Preditores Mais Fortes: A contagem de nós AST e o volume de Halstead são os principais correlatos. Características apenas do prompt geram $R^2$ negativo.
Síntese: O que torna um problema difícil depende do que mais varia em sua especificação. Se o prompt varia (HumanEval), o prompt impulsiona a dificuldade; se o prompt é estático (MBPP), a complexidade algorítmica impulsiona a dificuldade.

3. Robustez e Generalização

Testes Endurecidos: A reavaliação contra HumanEval+ e MBPP+ (80x e 35x mais testes, respectivamente) reduziu as taxas de passagem gerais, mas preservou o ranking de dificuldade ( $\rho = 0,88$ e $\rho = 0,82$ ) e a divisão preditiva prompt-vs-solução.
Regime de Decodificação: A mudança da decodificação greedy para amostragem de temperatura-0.8 preservou o ranking de dificuldade ( $\rho = 0,87$ ) e a distribuição do sinal preditivo.
Contexto 2026: A análise do leaderboard de Junho de 2026 do EvalPlus (125 modelos) mostra que o HumanEval está saturando (modelos de topo >96%). Modelos de fronteira (ex: GPT-5.x, Claude Opus 4.8) abandonaram amplamente o HumanEval em favor de benchmarks de nível de repositório (SWE-bench), onde a modelagem de dificuldade por instância permanece crítica à medida que os escores agregados comprimem.

Principais Contribuições

Estudo de Execução Reproduzível: Um conjunto de dados validado de ~68.000 execuções através de dois benchmarks, convertendo conclusões públicas em matrizes de resposta binária e escalas de dificuldade.
Evidência de Estabilidade: Prova empírica de que a dificuldade do item é uma propriedade agnóstica ao modelo que sobrevive à remoção de modelos, reamostragem e transferência de nível de capacidade.
Análise Preditiva: Demonstração de que a dificuldade é previsível a partir de características estáticas, com um achado crucial entre os benchmarks: o sinal preditivo muda da especificação de linguagem natural (HumanEval) para a complexidade da solução (MBPP) com base na variabilidade do prompt.
Contextualização: Mapeamento desses achados para o cenário de modelos de 2026, mostrando que, à medida que os benchmarks saturam, a análise consciente da dificuldade torna-se mais, e não menos, importante.

Significância e Implicações

O artigo argumenta que o benchmarking consciente da dificuldade é essencial conforme os escores agregados comprimem.

Para o Design de Benchmarks: Os relatórios devem ir além de escores agregados únicos para incluir perfis de dificuldade (ex: distribuição de itens fáceis/médios/difíceis) para detectar saturação e garantir que os benchmarks permaneçam discriminativos. Preditores de dificuldade estáticos ofeream um método de baixo custo para curar benchmarks equilibrados sem a necessidade de rodar frotas de modelos.
Para Autograding e Educação: Estimativas estáticas de dificuldade podem servir como sinais de confiança para tutoria assistida por LLM. Se uma especificação for marcada como "difícil" (ex: carecendo de exemplos ou tendo alta complexidade), um assistente pode deferir para revisão humana ou solicitar esclarecimentos.
Alinhamento Educacional: O achado de que exemplos resolvidos e dicas de tipo tornam os problemas mais fáceis para LLMs alinha-se com o "efeito do exemplo resolvido" na teoria da carga cognitiva. Isso sugere que o suporte (scaffolding) benéfico para programadores novatos também é benéfico para LLMs, embora crie um compromisso: exercícios projetados para serem fáceis para assistentes (ricos em exemplos) podem ser fáceis demais para os alunos aprenderem; enquanto exercícios concisos podem desafiar tanto um quanto outro.

O estudo conclui que a dificuldade não é uma propriedade inerente ao algoritmo sozinho, mas é determinada pela dimensão da especificação que permanece mais variável. Esta visão fornece um framework para entender e prever o desempenho de LLMs através de diferentes configurações de problemas.