COBOL-Coder: Domain-Adapted Large Language Models for COBOL Code Generation and Translation

논문 요약: COBOL-Coder (COBOL 특화 도메인 적응형 대규모 언어 모델)

1. 문제 정의 (Problem)

• COBOL 의 중요성과 LLM 의 한계: COBOL 은 은행, 보험, 정부 등 미션 크리티컬 (mission-critical) 시스템의 핵심 언어로 여전히 널리 사용되지만, 최신 대규모 언어 모델 (LLM) 은 COBOL 코드 생성 및 번역 작업에서 심각한 성능 저하를 보입니다.
• 저자원 (Low-Resource) 언어의 어려움:
  • 데이터 부족: 대부분의 COBOL 소스 코드는 기업 내부에 폐쇄되어 있어 공개된 학습 데이터가 극히 부족합니다.
  • 구문 및 관행의 차이: 현대 언어 (Python, Java 등) 와 COBOL 은 프로그램 구조, 포맷팅 요구사항, 데이터 레이아웃 등에서 근본적인 차이가 있어, 일반 목적의 LLM 이 COBOL 특유의 문법과 도메인 관습을 학습하기 어렵습니다.
  • 평가 기준의 부재: 기존 벤치마크는 COBOL 코드 생성에 국한되어 있으며, 현대 언어와의 양방향 번역 (Translation) 을 평가할 수 있는 체계적인 벤치마크가 부족했습니다.

2. 방법론 (Methodology)

저자들은 COBOL-Coder 를 개발하기 위해 자동화된 데이터 증강 파이프라인과 지시어 튜닝 (Instruction Tuning) 기법을 적용했습니다.

• A. 고품질 COBOL 학습 데이터 구축 파이프라인:

  1. Source 1 (실제 COBOL 코드): GitHub 에서 수집한 COBOL 파일을 기반으로 합니다.
     • 전처리: 20 줄 미만 또는 5 만 줄 초과 파일 제거, 중복 제거 (MinHash/LSH).
     • 컴파일러 기반 검증 (Compiler-guided Validation): GnuCOBOL 컴파일러로 코드를 검증하고, 오류 발생 시 LLM(GPT-4o) 을 활용하여 "컴파일러 - 루프 (Compiler-in-the-loop)" 방식으로 디버깅 및 수정을 반복하여 컴파일 가능한 코드로 정제합니다.
     • 지시어 생성: 검증된 코드를 바탕으로 LLM 을 사용하여 자연어 문제 설명 (Problem Description) 을 생성하고, 가장 적합한 설명을 선별하여 (LLM as a Judge) '문제 - 해결' 쌍을 만듭니다.
  2. Source 2 (합성 COBOL 코드 via 번역): Java(고자원 언어) 코드를 COBOL 로 번역하여 데이터를 증강합니다.
     • 번역 및 검증: Java 코드를 COBOL 로 번역한 후, Source 1 과 동일한 컴파일러 검증 과정을 거칩니다.
     • 의미론적 검증 (Similarity-based Validation):
       • LLM 기반 점수 매기기: 번역된 COBOL 이 원본 Java 의 기능을 올바르게 구현했는지 LLM 이 평가합니다.
       • 역번역 (Back-translation) 및 AST 유사도: COBOL 을 다시 Java 로 역번역한 후, 원본 Java 와 비교하여 AST(추상 구문 트리) 기반 유사도 (CodeBERTScore) 를 측정하여 일관성을 검증합니다.
  3. Source 3 (지식 소스): COBOL 교재, 기술 문서 등을 텍스트로 추출하여 질문 - 답변 (Q&A) 쌍으로 변환합니다. 이는 모델이 COBOL 개념과 관행을 이해하도록 돕습니다.

• B. 모델 아키텍처 및 학습:

  • Base Model: 코드 생성에 특화된 Qwen2.5-Coder(7B, 14B) 를 베이스로 사용합니다.
  • Fine-tuning: 위 파이프라인을 통해 구축된 대규모 COBOL 특화 지시어 (Instruction) 데이터셋으로 모델을 미세 조정 (Fine-tuning) 합니다.

• C. 새로운 벤치마크 구축 (COBOL-JavaTrans):

  • 기존에는 존재하지 않던 COBOL ↔ Java 양방향 번역 벤치마크를 최초로 제안했습니다. HumanEval 과 HumanEval-X 를 기반으로 COBOL 구현이 가능한 143 개의 태스크로 구성되었습니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 데이터 증강 파이프라인: 컴파일러 검증과 다단계 유사도 필터링을 결합하여 고품질의 COBOL 학습 데이터셋을 구축하는 프로세스를 제시했습니다.
2. COBOL-Coder 개발: COBOL 코드 생성 및 번역에 특화된 LLM 을 개발하여, 일반 목적 LLM 보다 월등히 높은 성능을 입증했습니다.
3. COBOL-JavaTrans 벤치마크: 레거시 시스템 현대화 (COBOL → Java) 및 역이행 (Java → COBOL) 시나리오를 평가할 수 있는 최초의 양방향 번역 벤치마크를 제안했습니다.
4. 실무자 평가 (User Study): 경험 많은 COBOL 개발자를 대상으로 한 설문 조사를 통해 생성된 코드의 실용성, 가독성, 기업 표준 준수 여부를 정성적으로 평가했습니다.

4. 실험 결과 (Results)

• 코드 생성 (Code Generation):

  • COBOLEval 및 COBOLCodeBench:
    • 기존 오픈소스 모델 (CodeLlama, StarCoder2 등) 은 대부분 0% 컴파일 성공률 (CSR) 을 기록했습니다.
    • GPT-4o: CSR 41.8%, Pass@1 16.4.
    • COBOL-Coder-14B: CSR 73.95%, Pass@1 49.33로 모든 베이스라인을 압도했습니다. 특히 난이도가 높은 COBOLCodeBench 에서도 유일하게 의미 있는 성능 (CSR 26.09%, Pass@1 4.35) 을 보였습니다.

• 코드 번역 (Code Translation - COBOL-JavaTrans):

  • COBOL → Java: COBOL-Coder 는 오픈소스 모델들을 크게 능가하며, GPT-4o 와 유사한 수준의 성능을 보였습니다 (CSR 97.9%, Pass@1 83.91).
  • Java → COBOL (더 어려운 작업): 대부분의 모델이 실패 (0%) 했지만, COBOL-Coder-14B 는 CSR 72.03%, Pass@1 34.93을 기록하여 압도적인 우위를 보였습니다.

• 실무자 평가 (Developer Survey):

  • 경험 많은 COBOL 개발자들은 COBOL-Coder 가 프로그램 구조, 배치 처리 패턴, 기업 개발 관행을 더 잘 이해하고 있다고 평가했습니다.
  • GPT-4/4o 는 개념은 이해하나 과잉 설계 (overengineering) 하거나 세부 사항에서 오류가 많았으며, COBOL-Coder 는 실제 생산 환경에 가까운 실용적인 코드를 생성했습니다.

5. 의의 및 결론 (Significance)

• 도메인 특화의 중요성: 레거시 언어인 COBOL 에서는 모델의 규모 (Scale) 보다는 **고품질의 도메인 특화 데이터 (Domain-specific Data)**와 적절한 미세 조정이 성능 향상의 핵심 요소임을 입증했습니다.
• 비대칭적 번역 난이도: COBOL 에서 Java 로의 번역은 상대적으로 쉽지만, Java 에서 COBOL 로의 번역은 COBOL 의 엄격한 문법과 구조적 제약으로 인해 훨씬 어렵습니다. 이는 레거시 현대화 작업에 특화된 모델이 필요함을 시사합니다.
• 실용적 가치: COBOL-Coder 는 완전 자동화 도구라기보다는 **개발자의 생산성을 높이는 보조 도구 (Draft Generator)**로서 가치가 큽니다. 특히 레거시 시스템 유지보수 및 현대화 과정에서 개발자의 인지 부하를 줄여줍니다.
• 향후 과제: 단일 파일 수준을 넘어, 공유 데이터 정의 (Copybooks), JCL, 시스템 간 의존성 등을 고려한 **레포지토리 수준 (Repository-level)**의 맥락 이해가 실제 기업 환경 도입을 위해 필요합니다.

이 연구는 레거시 언어를 위한 LLM 개발을 위한 데이터 구축, 모델 학습, 평가 프레임워크의 표준을 제시하며, COBOL 생태계의 디지털 전환에 중요한 기여를 하고 있습니다.