LitterBox+: An Extensible Framework for LLM-enhanced Scratch Static Code Analysis

기술 요약: LitterBox+ 프레임워크

문제 정의
대규모 언어 모델(LLM)이 텍스트 기반 프로그래밍을 지원하는 데 필수적인 도구가 되었으나, 스크래치(Scratch)의 블록 기반 환경에 적용하는 데는 그래픽 중심의 코드 특성으로 인해 어려움이 있습니다. LLM은 텍스트 기반 언어의 코드를 수정하고 개선하는 데 도움을 줄 수 있지만, 스크래치의 블록 기반 표기법은 직접적인 통합을 방해합니다. 기존의 스크래치 및 LLM 관련 접근 방식은 주로 창의적인 측면(예: 스프라이트 이미지 생성 또는 기능 아이디어 수집)에 집중되어 있으며, 정밀한 코드 분석에는 미치지 못합니다. 또한, LitterBox와 같은 정적 분석 도구는 반복되는 오개념 패턴을 바탕으로 버그를 감지할 수는 있지만, 대개 일반적인 설명만을 제공하여 학습자에게 오류를 재현하거나 해결 방법을 구현하는 데 필요한 구체적인 지침을 남기지 못합니다.

방법론 및 시스템 아키텍처
저자들은 LitterBox의 정적 코드 분석 능력과 LLM의 생성 능력을 결합하여 이 간극을 메우는 확장 가능한 프레임워크인 **LitterBox+**를 제程합니다. 시스템 아키텍처는 다음과 같은 메커니즘을 통해 작동합니다:

1. 코드 변환: 프레임워크는 스크래치 블록 기반 코드를 scratchblocks라고 알려진 텍스트 표현 방식으로 변환합니다. 이 형식은 커뮤니티 포럼에서 흔히 사용되며, 스크래치의 내부 JSON 표현 방식과 달리 LLM 학습 데이터에 존재할 가능성이 높습니다. 이 변환 과정에는 추후 상관관계 파악를 용이하게 하기 위해 스프라이트와 스크립트에 고유 ID가 포함된 특수 주석이 포함됩니다.
2. 프롬프트 엔지니어링: 사용자가 지원을 요청하면, 시스템은 특정 문제(예: "루프 누락")와 LitterBox의 일반적인 설명, 그리고 관련 scratchblocks 코드 컨텍스트를 결합하여 프롬프트를 구성합니다.
3. LLM 상호작 작용: 프레임워크는 generic 인터페이스를 통해 다양한 LLM 제공업체(예: OpenAI, Ollama)를 지원합니다. 이러한 상호작용을 관리하기 위해 langchain4j를 활용합니다. 시스템은 LLM 불가지론적(LLM-agnostic)으로 설계되었으나, 사용자 친화성을 위해 UI에서는 모델을 일반적으로 "GPT"로 지칭합니다.
4. 파싱 및 통합: LLM의 출력을 해석하기 위해 커스텀 ScratchBlocks Parser가 개발되었습니다.
   • 설명(Explanations)의 경우: LLM의 자연어 응답이 원래의 문제 설명 뒤에 추가됩니다.
   • 수정(Fixes)의 경우: LLM은 scratchblocks 코드를 출력합니다. 파서는 이를 프로그램의 추상 구문 트리(AST)로 다시 변환하려고 시도합니다. 만약 구문 오류(예: 잘못된 블록 사용 또는 마커 누락)로 인해 파싱에 실패할 경우, 후처리 단계에서 휴리스틱 규칙을 적용한 후, 문법적으로 올바른 스크립트를 생성하도록 LLM에 최대 3회까지 반복적으로 프롬프트를 보냅니다.
5. 사용자 인터페이스:
   • Scratch-GUI 확장 기능: 스크래치 웹 인터페이스에 직접 통합되는 토글 가능한 패널을 통해 사용자는 LitterBox 이슈를 확인하고, "Explain!" 또는 "Fix!" 동작을 요청하거나, 특정 스프라이트 또는 전체 프로그램에 대해 일반적인 질문을 할 수 있습니다.
   • CLI 및 API: 명령줄 인터페이스(CLI)와 Java API를 통해 배치 처리, 프로그래밍적 접근 및 타 도구와의 통합이 가능합니다.

주요 기여

• LitterBox+ 프레임워크: 스크래치 프로그램과의 LLM 기반 상호작용을 가능하게 하는 기존 LitterBox 정적 분석 도구의 오픈 소스 확장판입니다.
• ScratchBlocks Parser: LLM이 생성한 scratchblocks 텍스트를 스크래치 프로그램의 내부 AST로 다시 변환하여, 직접적인 코드 수정 및 통합을 가능하게 하는 혁신적인 파서입니다.
• 확장성: 새로운 프롬프트 템플릿, LLM 제공업체 및 분석 기능을 쉽게 추가할 수 있도록 설계되었습니다. 자체 호스팅 모델과 외부 호스팅 모델을 모두 지원합니다.
• 이중 인터페이스: 학습자를 위한 사용자 친화적인 GUI 확장 기능과 연구자 및 고급 사용자를 위한 CLI/API를 모두 제공합니다.

결과 및 시연
본 논문은 스크린캐스트를 통해 프레임워크의 기능적 구현을 제시합니다. 주요 운영 결과는 다음과 같습니다:

• 맥락적 설명: 시스템은 일반적인 LitterBox 이슈에 대해 버그 재현 단계와 스프라이트 동작에 미치는 영향을 포함하여, 프로그램 특화적인 상세 설명을 성공적으로 생성합니다.
• 자동 수정: 프레임워크는 코드 수정 사항을 제안하고 이를 스크래치 프로젝트에 직접 통합할 수 있습니다. 파서는 표준 블록, 사용자 정의 블록 및 "펜(Pen)" 확장 기능을 처리합니다.
• 오류 처리: 시스템은 LLM의 환각(hallucination)이나 구문 오류에 대비하여 반복 프롬프팅 및 휴리스틱 후처리와 같은 견고한 폴백(fallback) 메커니즘을 포함하여, 유효한 코드만 통합되도록 보장합니다.
• 사용자 피드백: 초기 실험 결과, LLM이 스크래치 코드를 추론할 수는 있으나 때때로 오해의 소지가 있는 설명을 생성하거나 잘못된 수정을 제안할 수 있음이 나타났습니다. 이에 따라 UI에는 LLM 생성 콘텐츠가 부정확할 수 있음을 알리는 눈에 띄는 경고(예: 빨간색 느낌표)가 포함되어 있습니다.

의의
본 논문은 LitterBox+가 연구자들이 스크래치와 LLM 사이의 창의적인 통합을 구축할 수 있는 기초적이고 확장 가능한 플랫폼 역할을 한다고 주장합니다. 정적 분석과 생성형 AI를 결합함으로써, 이 프레임워크는 일반적인 정적 분석 도구가 제공할 수 없는 구체적이고 실행 가능한 피드백을 학습자에게 제공하는 것을 목표로 합니다. 저자들은 현재 제시된 기능 외에도 코드 완성 및 에이전트 기반 테스트 기능과 같은 추가적인 발전을 장려하기 위해 프로젝트의 오픈 소스 성격(GitHub를 통해 제공)을 강조합니다. 이 연구는 블록 기반 프로그래밍 교육에서 LLM의 적용을 제한해 왔던 그래픽 장벽을 극복하기 위한 한 단계로 자리매김하고 있습니다.