CodeStylist: Supporting Early Undergraduate Programmers with Course-Aware Code Style Feedback

당신이 이야기를 쓰는 법을 배우고 있다고 상상해 보세요. 당신은 줄거리가 말이 되어야 하고, 캐릭터가 적절하게 행동해야 하며, 결말이 만족스러워야 한다는 것을 알고 있습니다. 하지만 또 다른 층위가 있습니다. 당신의 선생님은 특정 글꼴을 사용하고, 문단을 딱 맞게 들여쓰고, "그리고(And)"로 문장을 시작하지 말라고 요구합니다. 만약 당신이 줄거리는 잘 썼지만 형식을 틀렸다면, 점수를 깎일 수도 있습니다. 컴퓨터 프로그래밍의 세계에서, 이 "형식"은 **코드 스타일(code style)**이라고 불립니다. 이것은 컴퓨터가 프로그램을 실행할 수 있는지(그것이 줄거리라면)에 대한 것이 아니라, 코드가 얼마나 깔끔하고, 조직적이며, 다른 인간들이 읽기 쉬운지에 관한 것입니다.

오랫동안 선생님들은 이 문제로 고민해 왔습니다. 그들은 학생들이 이러한 깔끔함의 규칙을 배우기를 원하지만, 이에 대해 피드백을 주는 것은 시간이 너무 오래 걸립니다. 만약 선생님이 학기 말까지 기다렸다가 "이봐, 변수 이름에 잘못된 글꼴을 썼구나"라고 말한다면, 학생은 이미 그 교훈을 잊어버린 상태일 것입니다. 최근에는 **대규모 언어 모델(LLM)**이라는 새로운 유형의 "스마트 어시스턴트"가 등장했습니다. 이것을 당신의 코드를 읽고 그것에 대해 대화할 수 있는 초스마트 로봇이라고 생각하세요. 하지만 여기에는 함정이 있습니다. 이 로봇들은 일반적인 조언에는 뛰어나지만, 당신의 특정 수업 규칙은 잘 모를 수 있습니다. 그들은 당신의 선생님이 단지 지역 학교의 규칙을 따르기를 원하는 상황임에도 불구하고, 마치 다른 나라의 전문가처럼 글을 쓰라고 조언할 수도 있습니다.

이것이 퍼듀 대학교(Purdue University)의 연구진이 CodeStylist라는 새로운 도구를 통해 해결하려고 했던 문제입니다. 그들은 당신의 특정 선생님이 정확히 무엇을 원하는지 알고, 당신이 코드를 제출한 후가 아니라 코드를 작성하는 동안 유용한 팁을 줄 수 있는 로봇을 구축할 수 있는지 확인하고 싶었습니다. 그들은 단순히 도구를 만든 것이 아니라, 그룹의 교사와 조교들에게 이를 사용해 보게 하고, 이것이 실제로 유용했는지 아니면 학생들을 혼란스럽게 할 화려한 장난감에 불과했는지를 말해달라고 요청했습니다.

실험: 강의 계획서를 아는 로봇

연구진은 코딩 학생들을 위한 개인 편집자 역할을 하는 웹 앱인 CodeStylist를 구축했습니다. CodeStylist는 단순히 "코드를 더 깔끔하게 만드세요"와 같은 일반적인 조언을 주는 대신, 특정 강의의 구체적인 "스타일 가이드"를 바탕으로 **설정(configured)**됩니다. 이것은 마치 로봇에게 당신의 선생님이 작성한 강의 계획서와 루브릭(평가 기준)의 정확한 텍스트를 참조하도록 준 것과 같습니다.

실제 세상에서는 다음과 같이 작동합니다: 학생이 자신의 코드 파일(단 하나의 파일이 아니라 여러 개의 서로 다른 파일로 구성된 전체 프로젝트일 수 있음)을 업로합니다. 그들은 도구에 "이것은 나의 C 프로그래밍 수업을 위한 것입니다"라고 말하고, 도구는 코드를 대규모 언어 모델(AI)로 보냅니다. AI는 코드를 읽고 특정 줄을 지목하는 보고서를 생성합니다. 예를 들어, "이봐, 42번 줄에서 너는 변수 이름을 'x'라고 지었지만, 우리 수업 규칙에 따르면 변수는 'totalScore'처럼 설명적이어야 해. 또한, 여기 이 부분이 무엇인지 설명하는 주석을 빠뜨렸어"라고 말합니다.

결정적으로, 이 연구에서 테스트된 버전에서, 이 도구는 이러한 판단을 내리는 데 전적으로 AI에 의존했습니다. 이 사실들을 재확인할 별도의 엄격한 컴퓨터 프로그램("결정론적" 체크 프로그램)을 두지 않았습니다. 이 도구는 AI에게 규칙을 찾고 실수를 한꺼번에 찾아내도록 요청했습니다.

목표는 학생을 위해 코드를 고쳐주거나 성적을 매기는 것이 아니었습니다. 목표는 "수정 파트너(revision buddy)" 역할을 하는 것, 즉 학생들이 제출 버튼을 누르기 전에 실수를 잡을 수 있도록 돕는 도구가 되는 것이었습니다. 연구진은 다음과 같은 질문을 던지고 싶었습니다: 선생님들은 이 로봇을 신뢰할 것인가? 학생들은 실제로 이것을 사용할 것인가? 그리고 가장 중요한 것은, 로봇이 선생님이 실제로 원하는 것과 일치하는 조언을 제공할 것인가?

선생님들의 의견: 엇갈린 반응

이를 알아내기 위해, 연구진은 퍼듀 대학교의 컴퓨터 과학 과정에 있는 18명의 교육진(조교 및 교수 1명)을 모았습니다. 이들은 매주 학생들의 코드를 실제로 읽는 사람들입니다. 그들에게 도구가 제공되었고, 그들이 이전에 보았던 실제 코드 예시들로 테스트하도록 요청되었습니다. 그 후 설문지를 작성하고 솔직한 생각을 공유했습니다.

결과는 마치 배우들이 최선을 다하고 있지만 대본에 편집이 필요한 학교 연극과 같았습니다.

좋은 소식:
선생님들은 이 아이디어 자체는 훌륭하다는 데 동의했습니다. 그들은 CodeStylist가 보이지 않는 규칙을 보이게 만들 수 있다는 점을 확인했습니다. 한 선생님은 이것이 스타일 실수를 즉각적으로 찾아낼 수 있는 "두 번째 눈"을 갖는 것과 같다고 언급했습니다. 그들은 학생들이 최소 일주일에 한 번은 이 도구를 사용하여 코드를 확인할 것이라고 예측하며, 학생들이 실제로 이 도구를 사용할 것이라고 믿었습니다. 선생님들은 이것이 최종 성적을 받기 전에 스타일 오류를 잡아내는 데 도움이 되는 방법이며, 장기적으로 모두의 시간을 절약해 줄 것이라고 느꼈습니다.

나쁜 소식 (그리고 큰 우려 사항):
주요 문제는 신뢰였습니다. 선생님들은 로봇의 답변을 완전히 신뢰하지 못했습니다.

• 정확도: 로봇이 얼마나 자주 정답을 맞히는지에 대한 질문에, 선생님들은 평균 **60.7%**라고 추측했습니다. 이는 10번 중 거의 4번은 로봇이 틀리거나, 혼란스럽거나, 수업 규칙과 일치하지 않는 조언을 할 수 있음을 의미합니다. 이 도구는 엄격한 "철자 검사기" 백업 없이 오로지 AI에만 의존했기 때문에, 때때로 무언가를 놓치거나 말을 지어내기도 했습니다.
• 유용성: 1점에서 5점 척도에서, 선생님들은 답변의 도움 정도를 3.50, 유용성을 3.33으로 평가했습니다. 이는 "괜찮은" 점수이지만 "놀라운" 점수는 아닙니다.
• 학습: 가장 큰 우려는 이 도구가 실제로 학생들의 학습을 도울 수 있는지였습니다. "예상되는 학생 학습"에 대한 평균 점수는 5점 만점에 2.61이었습니다. 이는 중간값보다 낮습니다. 선생님들은 만약 로봇이 잘못된 조언을 한다면, 학생들이 생각 없이 로봇을 맹목적으로 따르거나, 로봇의 조언이 선생님의 실제 규칙과 충돌할 때 혼란을 겪을 수 있다고 우려했습니다.

한 조교는 매우 회의적이어서 이 도구에 **4%**의 정확도 점수를 주었고, 학생들이 이를 "절대" 사용하지 않을 것이라고 말했습니다. 또 다른 이는 만약 로봇이 잘못된 조언을 한다면, 선생님들이 로봇이 만든 난장판를 수습해야 하므로 오히려 더 많은 일을 하게 될 것이라고 우려했습니다.

결론: 유망한 초안, 완성된 제품은 아님

연구진은 CodeStylist가 유망한 시작이지만, 교실에서 최종 권위를 갖기에는 준비가 되지 않았다고 결론지었습니다. 선생님들은 이 도구를 스타일을 확인하고 잠재적인 문제점을 찾는 데 유용한 도구로 보았지만, 학생들이 깊이 있는 코딩 원칙을 신뢰할 수 있게 가르치는 도구로는 아직 보지 않았습니다.

논문은 이 도구가 진정으로 작동하기 위해서는 "하이브리드" 접근 방식이 필요하다고 제안합니다. AI가 모든 것을 추측하게 두는 대신, 명백한 오류를 찾기 위해 엄격하고 변경 불가능한 컴퓨터 규칙(철자 검사기와 같은)을 사용하고, AI는 오직 그 오류가 왜 중요한지를 설명하는 데만 사용하는 방식입니다. 또한 선생님들은 학생들이 스스로 조언을 검증할 수 있도록, 정확한 코드 줄을 강조 표시하고 어떤 규칙을 위반했는지 보여주는 것과 같은 더 나은 시각적 보조 도구를 요청했습니다.

요약하자면, 연구는 과정 인지적 피드백(course-aware feedback)이 훌륭한 아이디어이지만, 현재 버전의 CodeStylist는 엄격한 컴퓨터 백업이 부족하여 선생님의 가장 친한 친구가 되기에는 다소 신뢰성이 떨어진다는 것을 시사합니다. 그것은 학생들이 코드를 쓰는 잘못된 방식을 실수로 가르치지 않도록 더 많은 작업이 필요한 유용한 초안입니다. 연구진은 만약 정확도 문제를 해결하고 피드백을 더 검증하기 쉽게 만든다면, 이러한 종류의 도구가 학생들이 더 깔끔하고 전문적인 코드를 작성하도록 돕는 게임 체인저가 될 수 있다고 믿고 있습니다.