Evaluating LLMs in the Context of a Functional Programming Course: A Comprehensive Study

이 논문은 OCaml 과 같은 저자원 프로그래밍 언어를 가르치는 기능적 프로그래밍 과정에서 9 가지 최신 LLM 의 능력을 평가하기 위해 $\lambda$CodeGen, $\lambda$Repair, $\lambda$Explain 의 세 가지 벤치마크를 구축하고, LLM 이 문법 및 타입 오류 수정과 기본 개념 설명에는 효과적이지만 저자원 환경에서는 고자원 언어에 비해 과제를 해결하는 능력이 제한적임을 보여주었습니다.

핵심

🍳 1. 실험의 배경: "요리사 (AI) 와 새로운 레시피 (OCaml)"

일반적으로 인공지능 (LLM) 은 **요리 (프로그래밍)**를 잘하는 것으로 알려져 있습니다. 하지만 대부분의 연구는 **인기 있는 재료 (Python, Java)**로 만든 요리를 평가했습니다.

이 연구자들은 **"그렇다면 덜 알려진, 조금 까다로운 재료 (OCaml) 로 만든 요리를 인공지능이 잘 만들 수 있을까?"**를 궁금해했습니다. OCaml 은 기능적 프로그래밍이라는 독특한 방식을 사용하는 언어로, 요리법 (코드 작성법) 이 매우 엄격하고 논리적입니다.

📝 2. 실험 방법: 3 가지 요리 테스트

연구진은 9 가지 최신 인공지능 모델 (GPT-4o, Claude 등) 을 초대하여 3 가지 다른 요리 미션을 주었습니다.

1. λCodeGen (새 메뉴 개발하기):

   • 미션: "이런 재료를 써서 이런 맛의 요리를 만들어줘"라고 자연어로 말하면, 인공지능이 직접 요리를 만드는 테스트입니다.
   • 비유: 레시피 없이 재료만 보고 요리를 만드는 상황입니다.

2. λRepair (실패한 요리 고치기):

   • 미션: 학생이 만든 요리 (코드) 가 실패했습니다. "이게 왜 안 되는지 알려주고 고쳐줘"라고 요청합니다.
   • 비유: 타버린 팬이나 잘못된 재료를 찾아내어 요리를 다시 완성하는 상황입니다. (문법 오류, 타입 오류, 논리 오류 세 가지 유형으로 나뉩니다.)

3. λExplain (요리 이론 설명하기):

   • 미션: "왜 이 요리는 이렇게 만들어야 하는지 이론적으로 설명해줘"라고 질문합니다.
   • 비유: 요리사에게 "왜 소금을 먼저 넣어야 할까?" 같은 이론적인 질문을 던지는 것입니다.

📊 3. 실험 결과: "요리사들의 실력 차이"

연구진은 인공지능들이 만든 요리를 **컴퓨터 (자동 채점기)**와 **사람 (강사)**이 함께 평가했습니다.

• 상위 3 인 (o3-mini, Claude 3.7, GPT-4o):

  • 이 세 명의 '슈퍼 요리사'는 대부분의 미션에서 A~B 등급을 받았습니다.
  • 특히 **요리 고치기 (오류 수정)**는 매우 잘했습니다. "여기 불이 붙었네?"라고 바로 찾아서 고치는 능력이 뛰어났습니다.
  • 하지만 **새로운 메뉴 개발 (코드 생성)**에서는 완벽하지 않았습니다. 가끔 레시피를 무시하거나, 너무 길게 설명하는 등 실수가 있었습니다.

• 중하위권 모델:

  • 작은 모델들은 요리를 아예 못 만들거나 (컴파일 오류), 엉뚱한 요리를 내놓는 경우가 많았습니다.

• 가장 큰 차이:

  • 오류 고치기는 잘하지만, 복잡한 이론 설명이나 새로운 요리 개발은 어려워했습니다.
  • 특히 OCaml 같은 '까다로운 재료'를 다룰 때는, 인기 있는 재료 (Python) 를 다룰 때보다 실력이 떨어졌습니다.

💡 4. 핵심 교훈: "요리사에게 너무 의존하면 안 됩니다"

이 연구가 우리에게 주는 메시지는 다음과 같습니다.

1. 도구로서의 유용성: 인공지능은 문법 오류를 고치거나 간단한 개념을 설명할 때 훌륭한 **'비서'**가 되어줍니다. 초보자가 막혔을 때 도움을 받기 좋습니다.
2. 한계점: 하지만 인공지능이 만든 요리 (코드) 를 무조건 믿으면 안 됩니다. 논리적으로 틀린 요리를 만들거나, 너무 장황하게 설명할 수 있기 때문입니다.
3. 학생과 교사의 역할:
   • 학생: 인공지능의 답변을 비판적으로 검토할 줄 알아야 합니다. "이게 정말 맞는 요리일까?"를 스스로 확인하는 능력이 필요합니다.
   • 교사: 단순히 코드를 짜는 시험보다는, "인공지능이 만든 코드의 오류를 찾아보라"거나 "이론을 설명하라"는 식의 새로운 평가 방식을 도입해야 합니다.

🎯 5. 결론: "완벽한 요리사는 아직 없습니다"

결론적으로, 최신 인공지능은 프로그래밍 학습을 돕는 강력한 도구가 될 수 있습니다. 하지만 아직 **독립적인 요리사 (완벽한 프로그래머)**가 되기에는 무리가 있습니다.

특히 OCaml 같은 전문적이고 어려운 언어에서는 인공지능이 실수를 할 수 있다는 점을 인지하고, 스스로 생각하는 능력을 키우는 것이 가장 중요합니다. 이 연구는 인공지능의 능력을 객관적으로 평가하는 기준을 마련했다는 점에서 큰 의미가 있습니다.

기술 요약

논문 요약: 함수형 프로그래밍 교육 맥락에서의 LLM 평가

이 연구는 대규모 언어 모델 (LLM) 이 저자원 (low-resource) 프로그래밍 언어인 OCaml을 사용하는 2 학년 함수형 프로그래밍 과정의 교육적 맥락에서 얼마나 효과적인지 종합적으로 평가합니다. 기존 연구들이 주로 Java 나 Python 과 같은 고자원 (high-resource) 언어의 기초 과정에 집중했던 것과 달리, 본 연구는 이론적 개념과 복잡한 함수형 패러다임을 다루는 고급 과목에서 LLM 의 성능을 분석합니다.

1. 연구 문제 (Problem)

LLM 은 학생들의 학습 방식을 변화시키고 있지만, 특히 데이터가 부족한 저자원 언어나 고급 개념 (이론, 타입 추론 등) 에서는 그 정확성과 신뢰성에 의문이 제기됩니다.

• 핵심 질문: LLM 은 함수형 프로그래밍 과제 (코드 생성), 버그 수정 (구문, 타입, 논리 오류), 그리고 이론적 개념 설명에서 정확하고 간결한 답변을 제공할 수 있는가?
• 도전 과제: 고자원 언어 (Python/Java) 에 비해 OCaml 과 같은 함수형 언어의 데이터 부족으로 인한 LLM 의 학습 한계, 그리고 논리적 오류나 추상적 개념에 대한 LLM 의 이해도 부족.

2. 방법론 (Methodology)

연구진은 McGill 대학교의 2 학년 함수형 프로그래밍 과정을 기반으로 3 가지 벤치마크를 구축하고, 9 개의 최첨단 LLM 을 평가했습니다.

• 구축된 벤치마크:

  1. $\lambda$CodeGen (코드 생성): 자연어 설명과 타입 명세를 기반으로 10 개의 과제 (53 개 태스크) 를 포함. 패턴 매칭, 고차 함수 (HOF), 커리닝, CPS(Continuation-Passing Style), 타입 추론 등 기초부터 고급 주제까지 포함.
  2. $\lambda$Repair (코드 수정): 실제 학생들의 제출물에서 추출한 150 개의 버그 프로그램 (구문 오류 50 개, 타입 오류 50 개, 논리 오류 50 개).
  3. $\lambda$Explain (개념 설명): 시험 및 준비 문제에서 추출한 50 개의 이론적 질문 (변수 범위, 귀납법 증명, 평가 전략 등).

• 평가 대상 모델: GPT-4o, o3-mini, Claude 3.7 Sonnet, Llama 3.1 (8B/70B), Gemini 2.0 Flash, Qwen2.5 7B 등 9 개 모델.

• 평가 방식:

  • 자동화 평가: OCaml 컴파일러와 자동 채점기 (autograder) 를 사용하여 코드 실행 및 테스트 통과 여부 확인.
  • 수동 평가 (Manual Grading): 정답 여부뿐만 아니라 알고리즘 설계, 가독성, 요구사항 준수 여부를 평가. 'Mastery(완벽함)', 'Proficient(유능함)', 'Developing(개발 중)', 'Beginning(초보)', 'Non-gradable(채점 불가)' 5 단계 등급 체계 사용.
  • 프로모팅: 학생이 사용하는 방식과 유사하게 프롬프트를 구성 (Zero-shot 및 One-shot 학습 실험 포함).

3. 주요 기여 (Key Contributions)

• 새로운 벤치마크: OCaml 과 같은 저자원 함수형 언어에 특화된 3 가지 벤치마크 ($\lambda$CodeGen, $\lambda$Repair, $\lambda$Explain) 를 공개.
• 종합적 평가 프레임워크: 단순한 정답률 (Pass@k) 을 넘어, 알고리즘 설계와 가독성을 포함한 수동 평가를 통해 LLM 의 교육적 유용성을 심층 분석.
• 도메인 특화 도구 vs 범용 LLM 비교: OCaml 전용 코드 생성 도구 (BURST) 와 범용 LLM 의 성능을 비교하여 각 접근법의 장단점을 규명.

4. 주요 결과 (Results)

• 성능 계층화:
  • 상위권 (Top Tier): o3-mini, Claude 3.7 Sonnet, GPT-4o 는 모든 태스크에서 높은 성능을 보임. 특히 $\lambda$CodeGen 에서 Mastery 등급을 약 70% 달성.
  • 하위권: Llama 3.1 8B, Qwen2.5 7B, Gemini 1.5 Flash 8B 등은 성능이 현저히 낮음 (Mastery 20% 미만, 많은 경우 컴파일 불가).
• 태스크별 성능 차이:
  • 코드 생성 ($\lambda$CodeGen): 고자원 언어 (HumanEval 등) 에 비해 성능이 낮음 (상위 모델도 70% 미만). 논리적 오류나 복잡한 타입 추론이 포함된 과제는 특히 어려움.
  • 코드 수정 ($\lambda$Repair): 구문/타입 오류 수정은 매우 효과적 (상위 모델 78% 이상 Mastery). 반면 논리 오류 수정은 상대적으로 어려움 (상위 모델 60% 대).
  • 개념 설명 ($\lambda$Explain): 상위 모델 (o3-mini 등) 은 80% 이상의 정확도를 보이지만, 하위 모델은 이론적 개념 (타입 추론, 치환 등) 을 설명하는 데 큰 어려움을 겪음.
• 비교 분석:
  • 전용 도구 (BURST): OCaml 전용 도구 BURST 는 단순 재귀 함수 등에는 강점이 있으나, CPS 나 고차 함수 등 복잡한 과제에서는 11.3% 만 성공하여 범용 LLM 보다 성능이 떨어짐.
  • One-shot 학습: Few-shot 이 아닌 One-shot(예시 1 개 제공) 을 적용했을 때, 특히 Llama 70B 와 같은 오픈소스 모델의 성능이 소폭 향상됨.
• 난이도 영향: 기본 개념 (Basic) 문제보다 고급 (Advanced) 문제나 프로그래밍 이론 (PT) 문제에서 모든 모델의 성능이 급격히 하락.

5. 의의 및 시사점 (Significance)

• 학생 및 교육자: LLM 은 코드 작성과 기본 개념 설명에 유용하지만, 논리적 오류 수정이나 고급 이론 설명에서는 여전히 오류를 범할 수 있음. 따라서 학생들은 LLM 의 출력을 비판적으로 검토 (Critical Assessment) 해야 하며, 교육자는 LLM 의 한계를 인지하고 검증 및 디버깅 능력을 평가하는 과제를 설계해야 함.
• 프로그래밍 언어 (PL) 연구: 범용 LLM 은 저자원 언어에서도 적응력이 뛰어나지만, 도메인 특화 도구 (BURST 등) 가 여전히 특정 영역에서 정확성을 보장함. 향후 LLM 에 도메인 특화 추론 (Specification-aware reasoning) 을 통합하거나, 저자원 언어를 위한 강력한 합성 및 수정 도구 개발의 필요성이 제기됨.
• 연구 방향: 단순한 정답률 평가를 넘어, 코드 품질, 알고리즘 설계, 그리고 이론적 이해도를 종합적으로 평가하는 프레임워크의 중요성을 강조.

결론적으로, 이 연구는 LLM 이 함수형 프로그래밍 교육에서 강력한 보조 도구로 자리 잡았음을 보여주지만, 특히 저자원 언어와 고급 개념에서는 여전히 한계가 있음을 명확히 규명했습니다. 이는 LLM 의 지속적인 발전과 함께 교육적 활용 전략의 정립이 필요함을 시사합니다.