LitterBox+: An Extensible Framework for LLM-enhanced Scratch Static Code Analysis

Sintesi Tecnica: Framework LitterBox+

Problematica
Sebbene i Large Language Models (LLM) siano diventati essenziali per supportare gli sviluppatori nella programmazione basata su testo, la loro applicazione all'ambiente a blocchi di Scratch è ostacolata dalla natura grafica del codice di Scratch. Mentre gli LLM possono assistere nella correzione e nel miglioramento del codice per i linguaggi basati su testo, la notazione a blocchi di Scratch ne impedisce l'integrazione diretta. Gli approcci esistenti per Scratch e gli LLM si concentrano spesso su aspetti creativi (ad esempio, la generazione di immagini per gli sprite o la raccolta di idee per le funzionalità) piuttosto che sull'analisi mirata del codice. Inoltre, gli strumenti di analisi statica come LitterBox possono rilevare bug basandosi su schemi ricorrenti di malintesi, ma forniscono tipicamente solo descrizioni generiche dei problemi, lasciando gli studenti senza una guida specifica su come riprodurre gli errori o implementare le correzioni.

Metodologia e Architettura del Sistema
Gli autori propongono LitterBox+, un framework estensibile che colma questa lacuna integrando le capacità di analisi del codice statico di LitterBox con le capacità generative degli LLM. L'architettura del sistema opera attraverso i seguenti meccani:

1. Conversione del Codice: Il framework converte il codice a blocchi di Scratch in una rappresentazione testuale nota come scratchblocks. Questo formato è stato scelto perché è comune nei forum della community ed è probabilmente presente nei dati di addestramento degli LLM, a differenza della rappresentazione JSON interna di Scratch. La conversione include commenti speciali con ID unici per sprite e script per facilitare la successiva correlazione.
2. Prompt Engineering: Quando un utente richiede assistenza, il sistema costruisce un prompt che combina il problema specifico (ad esempio, "Loop Mancante"), la descrizione generica di LitterBox e il contesto del codice scratchblocks pertinente.
3. Interazione con l'LLM: Il framework supporta vari provider di LLM (ad esempio, OpenAI, Ollama) tramite un'interfaccia generica. Utilizza langchain4j per gestire queste interazioni. Il sistema è progettato per essere agnostico rispetto all'LLM, sebbene l'interfaccia utente si riferisca ai modelli genericamente come "GPT" per familiarità dell'utente.
4. Parsing e Integrazione: È stato sviluppato un ScratchBlocks Parser personalizzato per interpretare gli output degli LLM.
   • Per le spiegazioni, la risposta in linguaggio naturale dell'LLM viene aggiunta alla descrizione originale del problema.
   • Per le correzioni, l'LLM genera codice scratchblocks. Il parser tenta di riconvertire questo codice nell'Abstract Syntax Tree (AST) del programma. Se il parsing fallisce a causa di errori sintattici (ad esempio, uso errato dei blocchi o marker mancanti), un passaggio di post-elaborazione applica regole euristiche, seguito da fino a tre tentativi iterativi di sollecitare l'LLM per ottenere uno script sintatticamente corretto.
5. Interfacce Utente:
   • Estensione Scratch-GUI: Un pannello attivabile si integra direttamente nell'interfzione web di Scratch, consentendo agli utenti di visualizzare i problemi di LitterBox, richiedere azioni di tipo "Explain!" (Spiega!) o "Fix!" (Correggi!) e porre domande generali su sprite specifici o sull'intero programma.
   • CLI e API: Un'interfaccia a riga di comando e un'API Java permettono l'elaborazione batch, l'accesso programmatico e l'integrazione in altri strumenti.

Contributi Chiave

• Framework LitterBox+: Un'estensione open-source allo strumento di analisi statica esistente LitterBox che consente l'interazione guidata dagli LLM con i programmi Scratch.
• ScratchBlocks Parser: Un parser innovativo capace di convertire il testo scratchblocks generato dall'LLM nuovamente nell'AST interno di un programma Scratch, permettendo la modifica diretta del codice e l'integrazione.
• Estensibilità: Il framework è progettato per essere facilmente estendibile con nuovi template di prompt, provider di LLM e funzionalità di analisi. Supporta sia modelli auto-ospitati che ospitati esternamente.
• Doppia Interfaccia: La fornitura sia di un'estensione GUI user-friendly per gli studenti, sia di una CLI/API per ricercatori e utenti avanzati.

Risultati e Dimostrazioni
Il documento presenta un'implementazione funzionale del framework, dimostrata tramite uno screencast. I risultati operativi chiave includono:

• Spiegazioni Contestuali: Il sistema genera con successo spiegazioni dettagliate e specifiche del programma per i problemi generici di LitterBox, inclusi i passaggi per riprodurre il bug e il suo effetto sul comportamento dello sprite.
• Correzioni Automatizzate: Il framework può proporre e integrare correzioni di codice direttamente nel progetto Scratch. Il parser gestisce blocchi standard, blocchi personalizzati ed estensione "Pen" (Penna).
• Gestione degli Errori: Il sistema include robusti meccanismi di fallback per le allucinazioni degli LLM o gli errori di sintassi, come il prompting iterativo e la post-elaborazione euristica, per garantire che solo codice valido venga integrato.
• Feedback dell'Utente: Le prime prove indicano che, sebbene gli LLM possano ragionare sul codice Scratch, occasionalmente producono spiegazioni fuorvianti o correzioni errate. Di conseguenza, l'interfzione utente include avvisi evidenti (ad esempio, punti esclamativi rossi) per avvertire gli studenti che il contenuto generato dall'LLM potrebbe non essere accurato.

Significatività
Il documento afferma che LitterBox+ funge da piattaforma fondamentale ed estensibile per i ricercatori per costruire integrazioni creative tra Scratch e gli LLM. Combinando l'analisi statica consolidata con l'IA generativa, il framework mira a fornire agli studenti un feedback specifico e azionabile che gli strumenti di analisi statica generici non possono offrire. Gli autori sottolineano che la natura open-source del progetto (disponibile tramite GitHub) è destinata a incoraggiare un ulteriore sviluppo delle integrazioni Scratch+LLM oltre le funzionalità attualmente presentate, come il completamento del codice e le capacità di testing agentico. Il lavoro si pone come un passo verso il superamento della barriera grafica che ha precedentemente limitato l'applicazione degli LLM nell'educazione alla programmazione a blocchi.