Deterministic vs. LLM-Controlled Orchestration for COBOL-to-Python Modernization
본 논문은 결정론적 오케스트레이션(deterministic orchestration)이 COBOL-to-Python 현대화 작업에서 대등한 번역 정확도를 달성하는 동시에 견고성을 크게 향상시키고, 성능 변동성을 줄이며, 운영 비용을 최대 3.5배까지 절감함으로써 LLM 제어 에이전트 워크플로우보다 우수한 성능을 보임을 입증하는 통제된 실증 연구를 제시한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
수십 년 동안 금융 및 정부 부문은 COBOL이라 불리는 언어로 작성된 거대하고 복잡한 컴퓨터 프로그램에 의존해 왔습니다. 이 시스템들은 세계의 은행 거래와 사회 보장 급여를 실행하고 있지만, 이를 구축한 전문가들은 은퇴하고 있으며, 코드 자체는 수십 년이 되었고 문서화가 제대로 되어 있지 않으며 변경하기 어렵습니다. 이러한 필수적인 서비스를 계속 운영하기 위해 조직들은 이 고대의 코드를 파이썬(Python)과 같은 현대적인 언어로 번역해야 하며, 이 과정은 아주 작은 오류만으로도 시스템이 실패할 수 있기 때문에 극도의 정밀함을 요구합니다. 최근에는 대규모 언어 모델(LLM)로 알려진 새로운 유형의 인공지능이 이 과업을 위한 잠atic적인 도구로 등장했습니다. 이러한 모델은 코드를 읽고 새로운 코드를 쓸 수 있지만, 종종 자율적인 에이전트처럼 작동하여 스스로 어떤 단계를 밟을지, 언제 작업을 재시도할지, 그리고 진행 과정에서 어떻게 실수를 바로잡을지를 결정합니다. 이는 엔지니어들에게 중요한 질문을 던집니다. 인공지능이 실시간으로 모든 움직임을 결정하며 전체 과정을 주도하게 하는 것이 나을까요, 아니면 컴퓨터가 정해진 규칙을 따르도록 엄격하고 미리 정의된 경로를 유지하는 것이 더 효과적일까요?
버클리 대학교(Bucknell University)와 아스트리오(Astrio)의 연구팀은 이 두 가지 접근 방식이 COBOL 코드를 파이썬으로 변환하는 어려운 작업을 어떻게 처리하는지 확인하기 위해 통제된 실험을 수행함으로써 이 질문에 대한 답을 찾고자 했습니다. 그들은 번역가 역할을 할 ATLAS라는 시스템을 구축했지만, 실험 설계 시 오직 '누가 운전석에 앉느냐'만을 변수로 두었습니다. 한 버전에서는 인공지능에게 완전한 통제권을 부여하여 스스로 경로를 선택하고, 도구를 선택하며, 언제 멈추거나 다시 시작할지를 결정하게 했습니다. 다른 버전에서는 동일한 인공지능을 사용하여 코드를 작성하게 하되, 어떤 단계를 어떤 순서로 수행할지, 그리고 문제가 발생했을 때 몇 번이나 다시 시도할지를 규정하는 엄격하고 변하지 않는 규칙을 적용했습니다. 시스템의 '두뇌'인 언어 모델을 두 시나리오 모두에서 정확히 동일하게 유지함으로써, 연구진은 제어 방식 자체의 효과를 분리해 냈으며, 다른 모든 변수를 제거하여 어떤 전략이 진정으로 더 효과적인지 확인했습니다.
이 연구 결과는 유연성과 신뢰성 사이의 명확한 절충 관계를 보여주었습니다. 인공지능이 프로세스를 제어하도록 허용했을 때, 모델은 빈번하게 작동하는 프로그램을 만들어냈으며, 종종 오류 없이 실행될 수 있는 결과를 생성하는 데 성공했습니다. 그러나 이러한 성공에는 숨겨진 비용이 따랐습니다. 결과가 일관되지 않았던 것입니다. 모델이 진행 방식에 대해 스스로 결정을 내리기 때문에, 동일한 시작 코드가 실행될 때마다 매번 매우 다른 결과를 초래할 수 있었으며, 때로는 완벽한 번역을 만들어내기도 했지만 때로는 예측 불가능한 방식으로 실패하기도 했습니다. 더욱이, 이 '에이전트형(agentic)' 접근 방식은 비용이 매우 많이 들었습니다. 모델은 종-종 불필요한 질문을 던지고 여러 전략을 시도하며 길고 구불구불한 추론의 경로를 헤매며 방대한 양의 계산 자원을 소비했습니다. 어떤 경우에는 유연한 접근 방식이 유사한 결과를 얻기 위해 고정된 방식보다 3배 이상의 토큰(모델이 처리하는 정보의 기본 단위)을 사용하기도 했습니다.
반면, 고정된 결정론적 경로를 따르는 시스템은 훨씬 더 안정적이고 예측 가능한 결과를 냈습니다. 코드 번역 능력 자체는 유연한 버전만큼 우수했지만, 엄격한 시스템은 최악의 경우에도 거의 실패하지 않았습니다. 불필요한 생각의 루프에 빠지지도 않았고, 실행할 때마다 행동이 달라지지도 않았습니다. 무엇보다도, 이 방식은 실행 비용이 현저히 저렴했습니다. 엄격한 단계별 일정에 따라 움직이며 인공지능을 계획 수립보다는 코드 작성에만 활용함으로써, 시스템은 번역 비용을 3배에서 3.5배까지 줄였습니다. 연구진은 레거시 소프트웨어 현대화와 같이 단계가 잘 정의되어 있고 결과를 엄격한 규칙에 따라 검증할 수 있는 작업의 경우, 인공지래에게 자동차 운전대를 맡기는 것이 인간이 설계한 지도를 따라가는 것보다 비용이 더 많이 들 뿐만 아니라 신뢰성도 떨어진다는 것을 발견했습니다.
이 연구는 복잡한 엔지니어링 작업에서 인공지능을 사용하는 미래가 기계에게 어떻게 일할지 결정할 수 있는 완전한 자유를 주는 데 있지 않을 수도 있음을 시사합니다. 대신, 가장 효과적인 접근 방식은 이러한 강력한 모델을 규칙이 고정되어 있고 경로가 명확한 구조화된 프레임워크 안에 배치하는 것으로 보입니다. 인공지능은 복잡한 지침을 이해하고 새로운 코드를 생성할 수 있는 전문적인 작가로서 남되, 작업의 조율(기획, 타이밍, 안전 점검 등)은 엄격하고 결정론적인 통제하에 두는 것입니다. 이를 통해 프로세스가 고품질의 결과를 생성할 수 있을 뿐만 아니라, 현대 세계를 움직이는 대규모의 핵심 시스템을 위해 견고하고 예측 가능하며 경제적으로 실행 가능한 상태를 유지할 수 있도록 보장할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.