기술 요약: APL 에서 C# 으로 레거시 코드의 신경망 코드 번역

문제 정의

배열 지향 언어에서 현대적이고 정적 타입의 객체지향 언어로 레거시 시스템을 이전하는 작업은 유지보수성과 통합에 상당한 도전을 제기합니다. 본 논문은 APL(A Programming Language)을 **C#**으로 번역하는 구체적인 문제를 다룹니다. 이 작업은 다음 세 가지 주요 요인으로 인해 본질적으로 어렵습니다:

1. 구문적 차이: APL 은 고유한 글리프를 사용하는 희소한 구문을 활용하며 명시적인 루프 없이 다차원 배열로 작동하는 반면, C# 은 장황하고 명시적인 절차적 논리와 명확한 타입 시그니처에 의존합니다.
2. 데이터 부족: 기능적으로 동등한 APL 과 C# 코드 쌍을 포함하는 대규모 병렬 코퍼스가 부족하여 표준 신경망 번역 모델의 학습을 제한합니다.
3. 의미적 모호성: APL 의 동적 타이핑과 랭크 다형성 함수 (단일 함수가 스칼라, 벡터, 행렬로 작동) 는 C# 의 엄격한 타입 시스템으로 매핑할 때 모호성을 초래하며, 종종 기능을 보존하기 위해 복잡한 메서드 오버로딩이나 런타임 타입 확인이 필요합니다.

방법론

본 연구는 신경망 코드 번역을 대규모 언어 모델 (LLM) 을 사용한 시퀀스 - 시퀀스 생성 문제로 취급합니다. 데이터 제한과 구조적 모호성을 극복하기 위해, 저자들은 기준선과 비교하여 네 가지 다른 번역 전략을 평가하는 프레임워크를 제안하고 검증합니다:

1. **직접 번역 **(기준선): 중간 안내 없이 APL 코드를 C# 으로 직접 번역하도록 LLM 을 파인튜닝합니다.
2. **자연어 **(NL): LLM 이 먼저 APL 코드의 고수준 자연어 설명을 생성한 후, 이를 소스 코드와 결합하여 C# 번역을 생성하는 2 단계 접근법입니다.
3. **검색 증강 생성 **(RAG): 시스템이 외부 라이브러리 (예: APL2 Idiom Library) 에서 관련 APL 문서와 관용구를 검색하여 생성 과정에서 모델에 컨텍스트를 제공합니다.
4. 반복적 정제: 생성된 C# 코드를 컴파일하고 테스트 케이스에 대해 실행하는 자동화된 루프입니다. 컴파일 오류, 런타임 예외 및 기능 불일치는 후속 정제 반복을 위한 컨텍스트로 모델에 피드백됩니다.

데이터셋 구축:
기존 데이터의 부족으로 인해 저자들은 여러 데이터셋을 구축했습니다:

• 데이터셋 A: 800 개의 수동으로 큐레이션된 기본 APL-C# 쌍.
• 데이터셋 B: 생산 환경에서 파생된 143 개의 복잡한 유틸리티 함수.
• 데이터셋 C: Rosetta Code 에서 가져온 320 개의 교차 언어 구현.
• 데이터셋 I: 설명이 포함된 45 개의 APL 관용구.
  총 1,066 개의 샘플이 파인튜닝에 사용되었으며, 데이터셋 B 는 생산 지향 일반화를 위한 주요 테스트베드로 활용되었습니다.

기술적 구현:

• 토큰화: 본 연구는 APL 글리프에 대한 토크나이저 효율성을 분석하여 APL 문자를 라운드트립 실패 없이 처리하는 데 가장 효율적인 모델로 Qwen3-32B와 Gemma-4-31b-it을 식별했습니다.
• 파인튜닝: 사용 가능한 H100 GPU 메모리 제약 내에서 모델을 적합시키기 위해 8 비트 양자화와 함께 파라미터 효율적 파인튜닝 (LoRA) 을 적용했습니다.
• 평가 파이프라인: 자동화된 파이프라인은 입력 - 출력 테스트 케이스에 대한 성공적인 컴파일 및 기능 동등성을 확인하여 번역 품질을 검증했습니다.

주요 기여

• 최초의 체계적 조사: 본 작업은 APL 에서 현대 언어 (C#) 로의 신경망 코드 번역에 대한 최초의 체계적 연구와 전용 데이터셋을 제시합니다.
• 안내 번역 프레임워크: 본 논문은 F# 파서를 통해 추출된 메서드 시그니처, 자연어 설명, 반복 피드백 루프를 결합하여 APL 과 C# 간의 패러다임 격차를 해소하는 프레임워크를 도입하고 실증적으로 검증합니다.
• 자동화된 평가: 생성된 코드에 대한 구문적 정확성 (컴파일) 과 기능적 정확성 (실행) 을 모두 측정하는 엄격한 평가 파이프라인을 개발했습니다.

실험 결과

실험은 데이터셋 B 의 49 개 생산 등급 APL 함수로 구성된 테스트 세트를 기반으로 수행되었습니다. 주요 발견 사항은 다음과 같습니다:

• 안내의 영향: C# 메서드 시그니처 포함은 모든 모델에서 컴파일률을 크게 향상시켰습니다. 예를 들어, Gemma-4-31b-it 모델에 시그니처를 추가하면 전체 통과율이 22.45% 에서 46.94% 로 증가했습니다.
• 반복의 효과: 반복 번역 전략이 가장 높은 성능을 발휘했습니다. NL 설명과 반복 피드백의 조합은 Claude Opus 4를 사용하여 79.59% 의 최대 전체 통과율을 달성했으며, Gemma-4-31b-it을 사용한 **77.55%**가 그 뒤를 이었습니다.
• 모델 성능: 안내 전략을 적용한 파인튜닝 오픈 가중치 모델 (Gemma-4-31b-it, Qwen3-32B) 은 폐쇄형 가중치 모델 (GPT-5, Claude Opus 4) 과 경쟁력 있는 성능을 달성했습니다.
• 오류 분석: 실패의 주요 원인은 초기 반복에서는 컴파일/런타임 오류에서 후기 반복에서는 기능적 오류로 이동했습니다. 이는 모델이 구문적으로 유효한 C# 을 생성하는 법을 학습할 수 있지만, APL 관용구의 구체적인 수학적 의도를 보존하는 것이 여전히 가장 어려운 과제임을 나타냅니다.
• 데이터 확장: 성능 지표는 훈련 데이터 크기가 증가함에 따라 일관된 상승 추세를 보였으며, 이는 현재 결과가 모델 아키텍처보다는 데이터셋 규모에 의해 제한받고 있음을 시사합니다.

중요성과 주장

본 논문은 적절한 안내 전략이 적용된다면 신경망 코드 번역이 레거시 APL 시스템과 현대 C# 아키텍처 간의 격차를 성공적으로 해소할 수 있다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 실현 가능성: 자동화된 번역은 단순한 구문 변환을 넘어 기능적 동등성에 도달하여 다양한 프로그램에 대해 실현 가능합니다.
2. 비용 효율성: 파인튜닝된 오픈 가중치 모델과 반복적 정제를 결합함으로써 조직은 비싼 폐쇄형 소스 모델과 비교 가능한 결과를 달성할 수 있으며, 레거시 현대화를 위한 확장 가능한 솔루션을 제공합니다.
3. 실용적 적용성: 이 방법론은 이전된 코드를 디버깅하고 정제하는 데 필요한 수동 노력을 줄여 APL 전문가 풀이 감소하는 문제를 해결합니다.

저자들은 겸손한 입장을 유지하며, 이 접근법이 효과적이지만 나머지 실패의 대부분은 저수준 코드 생성 오류가 아닌 원래 APL 의 의도에 대한 오해에서 비롯된다고 지적합니다. 그들은 향후 연구가 훈련 코퍼스를 확장하고 단일 프로그램 번역에서 프로젝트 수준 종속성을 처리할 수 있는 멀티 에이전트 시스템으로 전환하는 데 초점을 맞춰야 한다고 결론지었습니다.