LitterBox+: An Extensible Framework for LLM-enhanced Scratch Static Code Analysis

Resumo Técnico: Framework LitterBox+

Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham se tornado essenciais para apoiar desenvolvedores em programação baseada em texto, sua aplicação ao ambiente de blocos do Scratch é dificultada pela natureza gráfica do código Scratch. Embora os LLMs possam auxiliar na correção e melhoria de códigos para linguagens baseadas em texto, a notação de blocos do Scratch impede a integração direta. As abordagens existentes para Scratch e LLMs focam frequentemente em aspectos criativos (por exemplo, gerar imagens de sprites ou coletar ideias de funcionalidades) em vez de análise de código direcionada. Além disso, ferramentas de análise estática como o LitterBox podem detectar bugs baseados em padrões recorrentes de equívocos, mas tipicamente fornecem apenas descrições genéricas dos problemas, deixando os alunos sem orientações específicas sobre como reproduzir erros ou implementar correções.

Metodologia e Arquitetura do Sistema
Os autores propõem o LitterBox+, um framework extensível que preenche essa lacuna integrando as capacidades de análise de código estático do LitterBox com as habilidades generativas dos LLMs. A arquitetura do sistema opera através dos seguintes mecanismos:

1. Conversão de Código: O framework converte o código baseado em blocos do Scratch em uma representação textual conhecida como scratchblocks. Este formato foi escolhido por ser comum em fóruns da comunidade e provavelmente estar presente nos dados de treinamento de LLMs, ao contrário da representação JSON interna do Scratch. A conversão inclui comentários especiais com IDs únicos para sprites e scripts para facilitar a correlação posterior.
2. Engenharia de Prompt: Quando um usuário solicita assistência, o sistema constrói um prompt combinando o problema específico (ex: "Loop Ausente"), a descrição genérica do LitterBox e o contexto de código scratchblocks relevante.
3. Interação com LLM: O framework suporta vários provedores de LLM (ex: OpenAI, Ollama) via uma interface genérica. Utiliza o langchain4j para gerenciar essas interações. O sistema é projetado para ser agnóstico a LLMs, embora a interface do usuário se refira aos modelos genericamente como "GPT" para familiaridade do usuário.
4. Parsing e Integração: Um ScratchBlocks Parser customizado foi desenvolvido para interpretar as saídas do LLM.
   • Para explicações, a resposta em linguagem natural do LLM é anexada à descrição original do problema.
   • Para correções, o LLM gera código scratchblocks. O parser tenta converter isso de volta para a Árvore de Sintaxe Abstrata (AST) do programa. Se o parsing falhar devido a erros sintáticos (ex: uso incorreto de blocos ou marcadores ausentes), uma etapa de pós-processamento aplica regras heurísticas, seguida por até três tentativas iterativas de solicitar ao LLM um script sintaticamente correto.
5. Interfaces de Usuário:
   • Extensão Scratch-GUI: Um painel alternável integra-se diretamente na interface web do Scratch, permitindo que usuários visualizem problemas do LitterBox, solicitem ações de "Explicar!" ou "Corrigir!" e façam perguntas gerais sobre sprites específicos ou sobre todo o programa.
   • CLI e API: Uma interface de linha de comando e uma API Java permitem processamento em lote, acesso programático e integração em outras ferramentas.

Principais Contribuições

• Framework LitterBox+: Uma extensão de código aberto para a ferramenta de análise estática LitterBox existente que permite a interação impulsionada por LLM com programas Scratch.
• ScratchBlocks Parser: Um parser inovador capaz de converter o texto scratchblocks gerado pelo LLM de volta para a AST interna de um programa Scratch, permitindo a modificação direta do código e integração.
• Extensibilidade: O framework foi projetado para ser facilmente estendido com novos templates de prompt, provedores de LLM e funcionalidades de análise. Suporta modelos auto-hospedados ou hospedados externamente.
• Interface Dupla: O fornecimento de uma extensão de GUI amigável para usuários (aprendizes) e uma CLI/API para pesquisadores e usuários avançados.

Resultados e Demonstrações
O artigo apresenta uma implementação funcional do framework, demonstrada via screencast. Resultados operacionais principais incluem:

• Explicações Contextuais: O sistema consegue gerar explicações detalhadas e específicas do programa para problemas genéricos do LitterBox, incluindo passos para reproduzir o bug e seu efeito no comportamento do sprite.
• Correções Automatizadas: O framework pode propor e integrar correções de código diretamente no projeto Scratch. O parser lida com blocos padrão, blocos customizados e a extensão "Caneta" (Pen).
• Tratamento de Erros: O sistema inclui mecanismos de fallback robustos para alucinações de LLM ou erros de sintaxe, como prompting iterativo e pós-processamento heurístico, para garantir que apenas códigos válidos sejam integrados.
• Feedback do Usuário: Testes iniciais indicam que, embora os LLMs consigam raciocinar sobre o código Scratch, ocasionalmente produzem explicações enganosas ou correções incorretas. Consequentemente, a interface inclui avisos proeminentes (ex: pontos de exclamação vermelhos) para alertar os alunos que o conteúdo gerado pelo LLM pode ser impreciso.

Significância
O artigo afirma que o LitterBox+ serve como uma plataforma fundamental e extensível para pesquisadores construírem integrações criativas entre Scratch e LLMs. Ao combinar a análise estática estabelecida com a IA generativa, o framework visa fornecer aos alunos feedbacks específicos e acionáveis que ferramentas de análise estática genéricas não conseguem oferecer. Os autores enfatizam que a natureza de código aberto do projeto (disponível via GitHub) tem o intuito de incentivar o desenvolvimento adicional de integrações Scratch+LLM além das funcionalidades atualmente apresentadas, tais como autocompletar código e capacidades de teste agêntico. O trabalho posiciona-se como um passo para superar a barreira gráfica que anteriormente limitava a aplicação de LLMs na educação de programação baseada em blocos.