IndustryCode: A Benchmark for Industry Code Generation

논문 요약: IndustryCode - 산업용 코드 생성을 위한 벤치마크

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 일반적인 소프트웨어 개발 (웹, 앱 등) 분야에서 코드 생성 및 이해 능력에서 괄목할 만한 성과를 보였습니다. 그러나 실제 산업 현장 (금융, 자동화, 항공우주, 원격 탐사 등) 에 적용하기에는 기존 벤치마크 (HumanEval, SWE-bench 등) 의 한계가 명확합니다.

• 도메인 특이성 부재: 기존 벤치마크는 물리적 제약, 복잡한 비즈니스 로직, 전문적인 수학적 모델링이 필요한 산업용 코드를 평가하지 못합니다.
• 언어 다양성 부족: 산업계는 Python, C++ 외에도 MATLAB, Stata 등 특수 목적 언어를 광범위하게 사용하지만, 기존 평가는 주로 Python/C++ 에 편중되어 있습니다.
• 작업 복잡도 미흡: 실제 산업 문제는 단순한 함수 구현이 아닌, 고수준 요구사항을 하위 모듈로 분해하고 통합하는 계층적 구조를 요구합니다. 기존 벤치마크는 이러한 복잡한 워크플로우를 평가하지 못합니다.
• 데이터 오염 위험: 공개된 코퍼스를 기반으로 한 벤치마크는 LLM 이 훈련 데이터에 이미 노출되었을 가능성이 높아, 실제 일반화 능력을 평가하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 IndustryCode라는 새로운 벤치마크를 제안했습니다.

• 데이터 구성:

  • 규모: 125 개의 주요 산업 문제 (Main Problems) 를 계층적으로 분해하여 총 579 개의 하위 문제 (Sub-problems) 로 구성되었습니다.
  • 도메인: 금융 (Finance), 자동화 (Automation), 항공우주 (Aerospace), 원격 탐사 (Remote Sensing) 등 20 개 이상의 하위 도메인을 포괄합니다.
  • 언어: Python, C++, MATLAB, Stata 등 4 가지 주요 산업용 프로그래밍 언어를 지원합니다.
  • 데이터 출처: 실제 산업 전문가들의 폐쇄형 (Proprietary) 생산 코드에서 파생되었으며, 데이터 오염을 방지하기 위해 수동으로 재구성하고 난이도를 강화했습니다.

• 데이터 주석 및 검증 파이프라인:

  1. 문제 선정: 실제 산업 요구사항을 반영한 과제 선정.
  2. 수동 수정 및 난이도 강화: 수학적 복잡성 (선형 대수, 비선형 최적화), 알고리즘 복잡성, 엔지니어링 복잡성 (모듈 간 결합, 예외 처리), 코드 아키텍처 (디자인 패턴 준수) 등을 강화하여 단순 암기를 방지.
  3. 평가 시스템 설계:
     • 실행 기반 수치 검증 (Execution-based Numerical Validation): 생성된 코드를 실행하여 출력값이 정답과 일치하는지 확인.
     • LLM 기반 의미 평가 (LLM-Judge): 기능적 동등성, 문법 구조, 산업 표준 준수 여부를 전문가 프롬프트로 평가.
  4. 반복적 검증: 자동화 테스트와 도메인 전문가의 검토를 거쳐 오류를 수정하고 정답값의 공차 범위 내로 수렴하도록 검증.

• 평가 방식:

  • Zero-shot 프롬핑: 퓨샷 (Few-shot) 예시 없이 지시사항만 제공.
  • 누적 컨텍스트 메커니즘: 이전 단계에서 생성된 코드를 컨텍스트로 포함하여, 실제 개발 워크플로우와 유사하게 점진적 개발 능력을 평가.

3. 주요 기여 (Key Contributions)

1. 첫 번째 종합 산업용 벤치마크: 다양한 산업 도메인과 프로그래밍 언어를 아우르는 최초의 포괄적인 벤치마크를 제시했습니다.
2. 계층적 문제 구조: 단일 함수가 아닌, 전체 시스템 (Main Problem) 을 하위 모듈 (Sub-problems) 로 분해하여 평가함으로써, LLM 의 복잡한 작업 분해 및 통합 능력을 정밀하게 측정합니다.
3. 고품질 데이터 구축: GPT-5 와 인간-AI 협업 파이프라인을 통해 데이터의 정확성을 검증하고, 산업 현장의 실제 난이도와 노이즈를 반영했습니다.
4. 다국어 및 다도메인 지원: MATLAB, Stata 등 기존 벤치마크에서 소외되었던 산업용 언어의 성능을 평가할 수 있는 기반을 마련했습니다.

4. 실험 결과 (Results)

최신 SOTA 모델들을 IndustryCode 로 평가한 결과는 다음과 같습니다.

• 전체 성능:

  • 상위 모델인 Claude 4.5 Opus가 하위 문제 (Sub-problem) 에서 68.1%, 주요 문제 (Main Problem) 에서 **42.5%**의 정확도를 기록하여 1 위를 차지했습니다.
  • Claude 4.5 Sonnet과 Gemini-3-pro가 그 뒤를 이었습니다.
  • 오픈 소스 모델 중 Qwen3-Max는 C++ 하위 문제에서 70.4% 의 높은 정확도를 기록하며 상용 모델을 능가하는 성과를 보였습니다.

• 도메인별 차이:

  • 높은 성능: 금융 및 비즈니스, 정보 기술 (IT) 등 알고리즘과 수학이 중심인 도메인에서는 모델들의 성능이 높았습니다 (예: IT 도메인에서 Qwen3-Max 86.5%).
  • 낮은 성능: 반도체, 해양 공학 등 하드웨어 및 물리적 제약이 강한 도메인에서는 성능이 급격히 떨어졌습니다 (예: 반도체 도메인에서 30~60% 수준). 이는 도메인 지식 부족과 특수 언어의 문법적 특성을 반영하지 못하기 때문입니다.

• 오류 분석:

  • 주요 실패 원인은 논리적 오류보다는 **구문 오류 (Syntax Error, 32.8%)**와 **문제 오해 (30.2%)**였습니다.
  • 추론 모드 (Thinking Mode) 의 양면성: 추론 모드를 활성화하면 논리적 오류는 감소하지만, **컨텍스트 혼란 (Context Confusion)**과 할루시네이션이 급증하여 전체 성능이 저하되는 경우가 많았습니다.

• 실행 격차 (Execution Gap):

  • 모든 모델에서 하위 문제 (단일 단계) 의 성공률은 높았으나, 이를 통합한 주요 문제 (전체 시스템) 의 성공률은 크게 낮았습니다. 이는 LLM 이 개별 작업은 잘 수행하지만, 긴 시간 동안 논리적 일관성을 유지하고 오류를 복구하며 전체 목표를 달성하는 능력은 여전히 부족함을 시사합니다.

5. 의의 및 결론 (Significance)

• 산업용 AI 개발의 기준점 마련: IndustryCode 는 산업 현장의 엄격한 요구사항 (정밀도, 안정성, 도메인 지식) 을 충족하는 코드 생성 모델 개발을 위한 '골드 스탠다드'를 제시합니다.
• 모델 능력의 한계 진단: 현재 LLM 들은 단순한 코드 생성은 가능하나, 복잡한 산업 시스템의 통합 및 유지보수에는 여전히 한계가 있음을 명확히 보여줍니다.
• 향후 연구 방향:
  • 특수 도메인 (반도체, 항공 등) 에 대한 전문 지식 강화.
  • 특수 언어 (MATLAB, Stata) 에 대한 훈련 데이터 확보.
  • 긴 컨텍스트에서의 상태 유지 (State Persistence) 및 오류 복구 능력 향상을 위한 아키텍처 개선 필요.

이 벤치마크는 단순한 코드 생성 능력을 넘어, 실제 산업 환경에서 LLM 이 유용한 엔지니어링 도구가 되기 위해 필요한 역량을 평가하고 발전시키는 데 중요한 기여를 할 것으로 기대됩니다.