Resumo Técnico: NL2Scratch

Definição do Problema

A pesquisa em linguagem natural para código (NL2Code) tem se concentrado predominantemente em linguagens de programação sequenciais e baseadas em texto (ex: Python, SQL, Java), baseando-se em métricas de avaliação como sobreposição lexical de tokens (BLEU, CodeBLEU) ou execução de testes unitários. No entanto, ambientes de programação baseados em blocos como o Scratch, amplamente utilizados na educação K-12, operam sob paradigmas fundamentalmente diferentes: os programas são orientados a eventos, visualmente composicionais e distribuídos entre múltiplos scripts simultâneos.

Neste contexto, protocolos de avaliação convencionais são insuficientes. Um programa Scratch com alta similaridade de superfície de tokens com uma referência pode ainda falhar ao executar ou comportar-se incorretamente devido a gatilhos de eventos desalinhados, fluxo de controle incorreto ou argumentos incompatíveis. Além disso, a pesquisa de IA existente na educação com Scratch tem focado amplamente em tutoria conversacional, depuração ou compreensão de programas, carecendo de um benchmark para a geração executável de linguagem natural para Scratch que valide tanto a correção estrutural quanto a fidelidade semântica.

Metodologia

1. Construção do Benchmark NL2Scratch

Os autores introduzem o NL2Scratch, um benchmark executável composto por 311.648 pares de Linguagem Natural (NL)–programa válidos para o parser. O pipeline de construção envolve três estágios:

• Extração de Scratchblocks: Projetos reais de Scratch (do corpus de Aivaloglou et al.) são convertidos em scratchblocks, uma notação textual normalizada que preserva gatilhos de eventos, ordenação de blocos e hierarquia de fluxo de controle. Os scripts são validados usando o parser da Scratch VM para garantir validade estrutural.
• Geração de Linguagem Natural: Para cada programa válido, uma descrição determinística é gerada via um conversor baseado em regras. Esta é subsequentemente reescrita por um LLM para melhorar a fluência e o naturalismo "estilo estudante", enquanto preserva estritamente a semântica executável (eventos, ações, condições, argumentos numéricos).
• Verificação Semântica: Um processo de filtragem de dois estágios garante a qualidade dos dados. Primeiro, verificações baseadas em parser confirmam a validade estrutural. Segundo, a Consistência de Alinhamento Semântico (SAC) é aplicada para verificar se a descrição de NL reescrita corresponde semanticamente ao programa subjacente.

2. Consistência de Alinhamento Semântico (SAC)

Para abordar as limitações das métricas de sobreposição de superfície, os autores propõem o SAC, um framework de verificação interpretável em nível de slot.

• Extração de Slots: O SAC extrai 11 slots comportamentais tanto da descrição de NL quanto do programa Scratch (representado como scratchblocks). Estes incluem:
  • Gatilhos de eventos (ex: bandeira verde, tecla pressionada).
  • Ações (ex: movimento, atualizações de variáveis).
  • Estruturas de controle (loops, condicionais).
  • Detalhes operacionais (argumentos numéricos, nomes de variáveis, nomes de fantasias/cenários, mensagens de broadcast).
• Pontuação: O acordo é computado por slot. Atributos escalares exigem correspondências exatas; atributos de valor de conjunto usam sobreposição de Jaccard. A pontuação SAC final é a média de todos os slots não vazios comparáveis.
• Limiarização: Pares com $SAC \geq 0,85$ são considerados de alto alinhamento de confiança.

3. Benchmark Diagnóstico

Do conjunto de dados completo, os autores construíram um benchmark diagnóstico controlado de 800 exemplos. Este subconjunto foi selecionado para maximizar a diversidade entre atributos semânticos específicos do Scratch (tipos de eventos, tipos de loops, argumentos numéricos, etc.) e para garantir que as distribuições de legibilidade correspondam a prompts de alunos do mundo real. Este conjunto serve como o principal terreno de avaliação para análise de desempenho de modelos.

4. Configuração Experimental

O estudo avalia uma gama de modelos, incluindo proprietários (GPT-4.1, GPT-4o-mini) e de pesos abertos (FLAN-T5, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct).

• Estratégias de Treinamento: Os modelos são testados sob condições de zero-shot, few-shot (aprendizado em contexto baseado em recuperação) e ajuste fino supervisionado (SFT).
• Métricas: O desempenho é medido usando métricas convencionais (Exact Match, F1 de nível de token, Sucesso de Parse) e as métricas SAC propostas ($SAC_{nl}$ para alinhamento com a NL de entrada, $SAC_{ref}$ para alinhamento com o programa de referência).
• Seleção em Tempo de Inferência: Os autores investigam o uso do SAC como um sinal de reclassificação (reranking) para selecionar o candidato mais fiel semanticamente de um conjunto de programas gerados.

Principais Resultados

1. O Hiato entre Similaridade Lexical e Alinhamento Semântico

Os experimentos revelam uma discrepância significativa entre métricas convencionais e correção semântica.

• Modelos frequentemente alcançam altos escores de F1 de nível de token (frequentemente >0,93) e altas taxas de sucesso de parse.
• No entanto, o alinhamento semântico perfeito ($SAC = 100\%$) é alcançado em menos de 18,9% dos exemplos, mesmo para os modelos mais fortes (ex: GPT-4.1 com prompting few-shot).
• Isso indica que alta similaridade lexical não garante que o programa gerado reproduza fielmente o comportamento pretendido.

2. Concentração de Erros em Slots Operacionais

A análise por slot identifica modos de falha específicos:

• Estrutura de Andaime (Scaffolding): Modelos performam bem em slots estruturais e centrados em entidades, como tipos de eventos, nomes de variáveis e nomes de fantasias, alcançando um alinhamento próximo ao teto.
• Detalhes Operacionais: Os erros se concentram em slots que determinam diretamente o comportamento do programa, especificamente tipos de ação, tipos de condição e argumentos numéricos. Esses erros frequentemente tornam o programa funcionalmente incorreto, apesar de passarem nos testes de parser e alcançarem altos escores de F1.

3. Impacto da Complexidade do Programa

O hiato entre similaridade lexical e alinhamento semântico aumenta à medida que a complexidade do programa cresce.

• Para programas mais longos, o Exact Match (EM) e o alinhamento semântico perfeito degradam drasticamente.
• O F1 de nível de token permanece relativamente estável, sugerindo que a recuperação de tokens locais é mais fácil do que preservar a estrutura executável global e as dependências complexas entre blocos.

4. Utilidade do SAC para Reranking

Usar o SAC como um sinal de seleção em tempo de inferência melhora significamente a qualidade da geração sem necessidade de retreinamento.

• O reranking baseado em SAC aumentou o alinhamento de $SAC_{ref}$ perfeito em até 32,6 pontos percentuais para modelos de pesos abertos.
• Isso demonstra que a verificação semântica explícita é um sinal de seleção mais eficaz do que o ranking baseado em verossimilhança (likelihood) ou apenas em parser.

Significância e Alegações

O artigo alega que a programação baseada em blocos constitui um regime distinto de NL2Code onde métricas de avaliação tradicionais são insuficientes.

• Primeiro Benchmark Executável: O NL2Scratch é apresentado como o primeiro benchmark que fornece pares de NL–Scratch executáveis em larga escala, com verificação de qualidade alinhada derivada de projetos reais.
• Revelação de Modos de Falha Ocultos: O estudo demonstra que os LLMs robustos atuais, mesmo quando ajustados (fine-tuned), exibem um "hiato notável" entre similaridade de superfície e precisão estrutural. Essas falhas são amplamente invisíveis sob métricas convencionais, mas críticas para aplicações educacionais onde a correção comportamental é primordial.
• Framework de Avaliação: O SAC é proposto não apenas como um filtro de dataset, mas como uma ferramenta diagnóstica necessária para avaliar o acordo semântico em sistemas orientados a eventos e baseados em blocos.

Os autores concluem que o trabalho futuro neste domínio deve ir além da sobreposição lexical e da validade de parser, movendo-se em direção a métodos de geração e avaliação conscientes de estrutura que verifiquem explicitamente a semântica operacional.