r2py: AI-Assisted Conversion of R Statistical Packages to Python

데이터 분석의 세계에는 오랫동안 지배적인 위치를 차지해 온 두 가지 뚜렷한 언어가 있습니다. 하나는 R이라 불리는 것으로, 세상에 대한 새로운 수학적 방법론들이 흔히 가장 먼저 작성되는 통계학의 역사적 고향입니다. 이는 과학자들을 위한 참조 도서관으로서, 수십 년 동안 면밀히 검토되고 신뢰받아 온 수천 개의 전문화된 도구들을 보유하고 있습니다. 다른 하나인 파이썬(Python)은 현대적 컴퓨팅, 머신러닝, 그리고 실제 세상에서 구동되는 소프트웨어를 구축하는 표준이 되었습니다. 수년 동안 이 두 세계는 평행하게 존재해 왔습니다. 파이썬을 사용하는 연구자가 R에만 존재하는 특정 통계적 방법론이 필요할 때, 그들은 어려운 선택에 직면합니다. 두 언어를 나란히 실행하려고 시도할 수 있지만, 이는 번거롭고 무거운 소프트웨어 설치를 요구합니다. 또는 R 코드를 파이썬으로 처음부터 다시 작성하려고 시도할 수도 있습니다. 후자는 매우 방대하고 오류가 발생하기 쉬운 작업이며, 종종 원래 도구의 미묘한 동작을 포착하는 데 실패하곤 합니다.

연구팀은 이제 이 간극을 메울 새로운 방법을 개발했습니다. 두 언어가 공존하도록 강요하는 것이 아니라, 통계적 도구 자체를 네이티브 파이썬 코드로 번역하는 방식입니다. 그들은 AI를 사용하여 R 패키지를 원본 R 소프트웨어 설치 없이도 작동하는 파이썬 라이브러리로 변환하는 r2py라는 시스템을 만들었습니다. 연구진은 이 시스템을 과학계에서 널리 사용되는 두 가지 주요하고 복잡한 통계 패키지에 테스트했습니다. 그 결과, 과학자들이 현대적인 파이썬 환경 내에서 수십 년간 축적된 통계적 혁신을 사용할 수 있도록 하는, R 원본과 거의 똑같이 동작하는 파이썬 도구 세트를 만들어냈습니다.

이 작업의 핵심 과제는 R과 파이썬이 단순히 같은 언어의 다른 방언이 아니라, 각자의 규칙을 가진 근본적으로 다른 시스템이라는 점입니다. R에서 분산을 계산하는 간단한 명령은 파이썬에서는 기본적으로 사용하지 않는 특정 보정을 적용할 수 있습니다. R에서 함수는 특정 순서로 결과 리스트를 반환할 수 있지만, 파이썬은 다른 구조를 기대합니다. 만약 사람이 이 도구들을 수동으로 번역하려고 한다면, 이러한 미묘한 차이를 놓칠 수 있으며, 이는 코드는 올바르게 보이지만 수치는 약간 틀리게 생성되는 결과를 초-초래할 수 있습니다. 아주 작은 수치적 오류가 결론을 바꿀 수 있는 과학 분야에서 이는 용납되지 않습니다. 더욱이, 많은 R 패키지는 무거운 계산을 수행하기 위해 C나 포트란(Fortran)과 같은 언어로 작성된 오래된 컴파일된 코드에 의존합니다. 단순히 상위 수준의 명령을 번역하는 것만으로는 충분하지 않습니다. 시스템은 또한 이 새로운 파이썬 코드를 어떻게 이 오래되고 빠른 계산 엔진에 연결할지 알아내야 합니다.

이를 해결하기 위해 연구진은 인간 전문가의 안내를 받되 인공지능 에이전트에 의해 실행되는 7단계의 뚜렷한 단계로 번역 과정을 나누는 프레임워크를 구축했습니다. 코드 한 권 전체를 한꺼번에 번역하도록 컴퓨터에게 요청하는 대신, 시스템은 먼저 패키지의 구조를 매핑하여 어떤 함수가 다른 함수에 의依存하는지 이해합니다. 그런 다음 R 코드에서 발견되는 모든 유형의 명령에 대해 상세한 가이드를 생성하여, 실제 번역이 시작되기 전에 각 명령이 파이썬에서 어떻게 렌더링되어야 하는지 정확히 결정합니다. 이를 통해 동일한 R 명령이 항상 동일한 방식으로 번역되도록 하여, 코드의 각 부분이 별도로 처리될 때 발생하는 불일치를 방지합니다.

계획이 수립되면, 시스템은 함수 단위로 올바른 순서에 따라 코드를 번격합니다. 결정적으로, 시스템은 이미 컴파일된 코드로 작성된 무거운 수학적 계산을 다시 쓰려고 시도하지 않습니다. 대신, 기존의 빠른 코드를 있는 그대로 유지하면서 이를 호출할 수 있는 새로운 파이썬 브릿지(bridge)를 구축합니다. 테스트한 패키지 중 하나에 대해서는 이 과정이 간단했습니다. 하지만 내부 코드와 소통하는 방식이 더 복잡한 또 다른 패키지의 경우, 시스템은 원래의 R 소프트웨어가 없는 상태에서도 기존 코드가 실행될 수 있도록 R 시스템의 내부 언어를 작고 독립적인 형태로 먼저 재구성해야 했습니다. 이를 통해 새로운 파이썬 패키지가 원본과 동일한 계산 엔진을 사용할 수 있게 함으로써, 결과의 차이가 수학적 변화가 아닌 오직 번역에서만 발생하도록 보장했습니다.

그 후 연구진은 이 새로운 패키지들을 엄격한 일련의 테스트에 투입했습니다. 그들은 단순히 코드가 실행되는지만 확인한 것이 아니라, 수백 가지의 시나리오에 걸쳐 새로운 파-이썬 도구가 생성한 숫자와 원본 R 도구가 생성한 숫자를 비교했습니다. 표준 사례, 까다로운 엣지 케이스(edge case), 심지어 도구가 생성하는 에러 메시지까지 테스트했습니다. 한 패키지에서는 846개의 개별 테스트를 실행했고, 다른 패키지에서는 518개를 실행했습니다. 결과는 새로운 파이썬 도구가 과학적 작업에 허용되는 아주 미세한 오차 범위 내에서 원본 R의 결과를 매우 높은 정밀도로 재현했음을 보여주었습니다.

그러나 이 과정은 번역이 모든 세부 사항에서 완벽하지는 않다는 점도 드러냈습니다. 몇몇 특정 사례에서 새로운 도구는 원본과 약간 다른 결과를 생성했는데, 이는 도구의 근본적인 성격을 바꾸지 않고서는 수정이 불가능한 방식이었습니다. 예를 들어, 원본 R 도구는 사용자가 입력한 대로 명령을 정확히 표시하는데, 이는 사용자 입력에 대한 R 시스템의 기억에 의존하는 기능입니다. 최종 계산된 값만을 보는 새로운 파이썬 도구는 그 정확한 텍스트 디스플레이를 재현할 수 없습니다. 연구진은 이러한 차이점을 식고하고 이를 명확히 기록했으며, 이를 숨기려 하지 않았습니다. 또한 그들은 특정 상황에서 미세한 오류를 일으키는 원본 R 코드의 실제 결함을 발견했습니다. 그들의 목표가 충실한 복사본을 만드는 것이었기에, 그들은 이 결함까지도 정확하게 재현하여 과학자들이 새 도구를 사용할 때 기존 도구와 동일한 결과를 얻을 수 있도록 했습니다.

가장 놀라운 발견은 테스트 과정 자체에서 나왔습니다. 연구진은 숨겨진 오류를 잡아내는 가장 좋은 방법이 새로운 테스트를 작성하는 것이 아니라, R 패키지에 포함된 원래의 테스트를 번역하는 것이라는 사실을 발견했습니다. 이 오래된 테스트들은 번역가가 생각지도 못할 매우 특수하고 이례적인 조건들을 점검하기 위해 원작자들이 작성한 것이었습니다. 이 번-역된 테스트들을 실행함으로써, 시스템은 인간의 검토로는 찾을 수 없는 미묘한 버그를 찾아냈습니다. 여기에는 매우 깊고 복적인 계산에서만 나타나는 제어 파라미터 계산 방식의 숨겨진 오류가 포함되었습니다. 이는 원본 테스트 스 suites가 번역 과정의 필수적인 부분임을 입증하며, 어떤 인간의 검사로도 찾을 수 없는 문제를 잡아내는 안전망 역할을 한다는 것을 확인시켜 주었습니다.

이 연구는 복잡한 통계 소프트웨어를 한 언어에서 다른 언어로 변환하는 것이 가능하지만, 단순한 자동 번역보다는 규율 있는 단계별 접근 방식이 필요함을 보여줍니다. 연구진은 단순히 두 개의 패키지를 변환한 것이 아니라, 다른 것에도 적용할 수 있는 방법론을 구축했습니다. 그들은 계획, 규칙의 번역, 그리고 결과의 검증을 분리하고, 무거운 계산 엔진을 건드리지 않음으로써, R의 기원에 충실한 네이티브 파이썬 도구를 만드는 것이 가능하다는 것을 보여주었습니다. 변환된 패키지들은 이제 일반적인 파이썬 소프트웨어처럼 설치하여 누구나 사용할 수 있으며, 원본의 무거운 소프트웨어를 설치할 필요 없이 수십 년의 통계적 혁신을 현대적 컴퓨팅 환경으로 가져옵니다. 이 프로젝트의 성공은, 주의 깊고 구조적이며 수치적 정확성에 전념한다면, 과거의 통계적 방법론과 미래의 컴퓨팅 도구 사이의 장벽이 생각보다 극복 가능하다는 것을 시사합니다.