Semantic Reverse Engineering Legacy Software Applications with ChatGPT, Gemini AI, and Claude AI

본 연구 논문은 ChatGPT, Gemini, Claude AI 를 활용하여 레거시 데이터베이스 소프트웨어 애플리케이션을 의미론적으로 역공학하는 방법에 관한 결과를 제시합니다.

핵심

상상해 보세요. 더 이상 아무도 사용하지 않는 언어로 쓰인 낡고 먼지 쌓인 책들로 가득 찬 도서관이 있다고 말입니다. 사전도 없고, 저자들은 이미 오래전에 세상을 떠났습니다. 당신의 목표는 단순히 페이지에 적힌 글자를 복사하는 것이 아닙니다 (그건 쉽습니다). 당신의 목표는 저자가 따르려 했던 이야기와 논리, 그리고 규칙을 이해하는 것입니다.

이 논문은 ChatGPT, Gemini, Claude라는 세 가지 다른 "초지능 로봇"을 이용해 오래된 컴퓨터 프로그램을 읽고, 그 프로그램이 실제로 무엇을 하는지 설명하려는 연구팀에 관한 것입니다.

다음은 간단한 비유를 통해 그들의 실험을 요약한 것입니다:

미션: 기계 속의 "유령" 해독하기

연구자들은 클럽의 문지기처럼 행동하는 오래된 소프트웨어 (레거시 코드) 를 가지고 있었습니다. 이 문지기는 다음과 같은 특정 규칙을 가지고 있었습니다:

1. 지리 규칙: "어떤 도시가 국가의 수도라면, 그 도시는 반드시 그 국가에 속해야 한다."
2. 왕실 규칙: "두 명의 왕이 결혼했거나 부모/자식 관계가 아닌 한, 동시에 같은 국가를 통치할 수 없다."

문제점은 무엇일까요? 코드는 VBA 라는 오래된 스타일로 작성되어 있었으며, 왜 그렇게 작성되었는지 설명하는 주석은 전혀 없었습니다. 연구자들은 AI 가 코드를 보고 "아, 알겠다! 이 코드는 수도가 국가와 일치해야 한다는 규칙을 강제하고 있구나"라고 말할 수 있는지 확인하고 싶었습니다.

세 명의 로봇 (AI 도구들)

연구자들은 세 가지 다른 AI "탐정"을 테스트했습니다:

1. ChatGPT: 사려 깊은 튜터

• 작동 방식: ChatGPT 는 정말로 올바르게 이해하고 싶어 하는 똑똑한 학생과 같았습니다. 연구자들이 첫 번째 간단한 규칙을 주었을 때, ChatGPT 는 완벽하게 이해했습니다.
• 실수: 그들이 복잡한 "왕실 규칙"을 주었을 때, ChatGPT 는 처음에 이야기를 잘못 이해했습니다. 코드가 결혼을 거부하는 것이라고 생각했지만, 실제로는 코드가 기존 결혼 관계의 변경을 거부하는 것이었습니다.
• 회복: 연구자들이 정정해 주었을 때, ChatGPT 는 단순히 "알겠습니다"라고 말하지 않았습니다. "아! 내가 실수했구나. 나는 논리의 잘못된 부분을 보고 있었어. 당신이 옳아. 결혼 상태에 관한 것이 아니라 배우자를 바꾸는 전환에 관한 거야"라고 말하며 자신의 실수를 인정하고, 왜 틀렸는지 설명했습니다. 정정을 통해 배웠습니다.
• 판단: 깊은 의미를 이해하고 실수를 인정하는 데 가장 뛰어났습니다.

2. Claude: 우아한 시인

• 작동 방식: Claude 는 매우 정중했으며 코드의 수학적 아름다움을 감상했습니다. 간단한 규칙을 즉시 이해했고, 연구자들의 영리한 논리를 칭찬했습니다.
• 실수: ChatGPT 와 마찬가지로 복잡한 "왕실 규칙"을 처음에 잘못 이해했습니다. "결혼한 부부에게는 동시 통치가 불가능하다"라는 혼란스러운 주장을 했는데, 이는 말이 되지 않았습니다.
• 회복: 정정을 받으면 실수를 인정하고 마침내 논리를 이해했습니다. 그러나 대화하는 속도가 매우 느렸습니다 (연구자들은 질문 사이에 몇 시간을 기다려야 했습니다). 이 과정은 매우 느리고 격식 있는 차 한 잔의 파티처럼 느껴졌습니다.
• 판단: 이해력은 매우 좋았지만, 느리고 다소 경직되었습니다.

3. Gemini: 지나치게 열성적인 예술가

• 작동 방식: Gemini 는 가장 극적이었습니다. "이 코드는 도시가 국가에 속하는지 확인한다"라고 말하는 대신, "이것은 윤리적 파열을 감지하는 바이오-논리 자기 치유 센서입니다!"라고 말했습니다. 박테리아, 석회암, 미로 등 지나치게 많은 비유를 사용했으며, 오래된 코드를 분석하는 대신 연구자들에게 다른 현대적 도구를 사용하도록 설득하려 했습니다.
• 실수: 간단한 수학도 틀렸습니다 (단사 함수를 전사 함수라고 부름). 정정을 받으면 이해한 척했지만 같은 실수를 계속 반복했습니다.
• 판단: 지나치게 수식어투가 많고 장황했습니다. 자신의 비유에 빠져 사실에 집중하지 못했습니다.

대발견: "상태" 대 "변화"

이 논문에서 가장 중요한 교훈은 미묘하지만 거대한 논리적 차이입니다:

• 상태: 현재 상황이 유효한가? (예: "이 결혼은 합법적인가?")
• 전환: 상황을 바꾸는 행위가 유효한가? (예: "남편을 다른 사람으로 바꿀 수 있는가?")

연구자들은 AI 도구들이 "상태" (간단한 규칙) 를 파악하는 데는 훌륭하다는 것을 발견했습니다. 하지만 복잡한 "전환" 규칙 (왕실 규칙) 에 이르러서는 모두 혼란스러워했습니다. 코드가 결혼 자체를 막는다고 생각했지만, 실제로는 결혼의 변경을 막는 것이었습니다.

최종 결론

연구자들은 다음과 같이 결론 내렸습니다:

1. AI 는 작은 퍼즐을 위한 훌륭한 조수입니다: AI 에게 작은 코드 조각을 주면 매우 잘 설명할 수 있습니다.
2. AI 는 아직 전문가를 대체할 수 없습니다: 코드가 조금 더 크거나 복잡하면, AI 는 코드가 실제로 하는 일과 정반대되는 것을 자신 있게 설명할 수 있습니다.
3. 수학이 중요합니다: 연구자들은 AI 도구가 인간이 수학적 지식 (집합론과 논리 등) 을 알고 있을 때 가장 잘 작동한다고 지적했습니다. AI 는 올바른 방향으로 이끌기 위해 "논리"를 말하는 인간이 필요합니다.

요약하자면: 이러한 AI 도구들은 매우 영리한 인턴과 같습니다. 매뉴얼을 읽고 기본 사항을 완벽하게 설명할 수 있지만, 까다로운 현실 세계의 시나리오를 주면 자신 있게 잘못된 이야기를 할 수 있습니다. 여전히 그들의 작업을 이중으로 확인해 줄 숙련된 인간 엔지니어가 필요합니다.

기술 요약

기술 요약: ChatGPT, Gemini AI, Claude AI 를 활용한 레거시 소프트웨어 애플리케이션의 의미적 역공학

문제 제기
전통적인 소프트웨어 역공학 (RE) 은 주로 구문론적이며, 소스 코드나 이진 구조를 복원하는 데 초점을 맞추지만, 반드시 그 이면의 의도나"비즈니스 규칙"을 이해하는 것은 아닙니다. 역난독화 및 맬웨어 탐지를 위한 도구들이 존재하지만, 레거시 코드에서 제약 조건의 형식적 정의를 추론하는 데 필요한 의미층을 다루는 경우는 드뭅니다. 본 연구는 의미적 역공학의 과제를 다룹니다. 즉, 레거시 소스 코드 (특히 비관계형 데이터베이스 제약 조건을 강제하는 MS Access VBA) 를 취해 집합론, 관계, 함수, 1 차 술어 논리를 사용하여 그 형식적 정의를 추론하고, 이를 정확한 평문 영어로 표현하는 것입니다. 저자들은 이전 연구가 데이터베이스 스키마를 (기본) 수학적 데이터 모델 ((E)MDM) 로 역공학하는 데 집중했다면, 본 연구는 애플리케이션 자체를 역공학하는 것을 목표로 한다고 명시합니다.

방법론
본 연구는 세 가지 대형 언어 모델 (LLM) 을 활용했습니다: ChatGPT(Plus 5.3 및 Mini), Gemini(3), 그리고 Claude(Sonnet 4.6). 실험 설정은 다음과 같습니다:

• 하드웨어/소프트웨어: Toshiba Satellite Intel CORE i7, MS Windows 10, MS Access 365, 그리고 (E)MDM 기반의 지능형 데이터 관리 시스템 프로토타입인 MatBase v. 5.2.
• 입력 데이터: 지리 데이터베이스와 가계도 데이터베이스라는 두 개의 레거시 애플리케이션의 코드 스니펫. 이러한 스니펫들은 복잡한 비관계형 제약 조건 (예:"한 국가의 수도는 반드시 해당 국가에 속한 도시여야 한다"는 규칙과 왕실 결혼 및 재위 기간에 관한 역사적 제약) 을 강제했습니다.
• 전처리: 저자들은 AI 가 명시적인 문서나 런타임 피드백 없이 코드의 의도를 이해할 수 있는지 테스트하기 위해 VBA 코드에서 모든 주석을 의도적으로 제거하고 오류 메시지 표시 문 (MsgBox) 을 제거했습니다.
• 프로세스: 연구자들은 AI 모델과 반복적인 대화를 나누었습니다. 그들은 코드 스니펫을 제공하고 모델들에게 다음을 요청했습니다:
  1. "비즈니스 규칙"을 추론할 것.
  2. 줄 단위 설명을 제공할 것.
  3. 수학적 논리 (집합론, 범주론, 1 차 논리) 를 사용하여 제약 조건을 형식화할 것.
  4. 저자들의 피드백 (예: 전역 함수와 부분 함수의 구분, 또는 상태 제약과 전이 제약의 구분 수정) 을 바탕으로 형식화를 비판하고 정교화할 것.

주요 결과
세 가지 AI 도구의 성능은 단순한 코드 스니펫과 복잡한 코드 스니펫 사이에서 크게 달랐습니다:

1. 단순 제약 조건 (지리 애플리케이션):

   • ChatGPT: 비즈니스 규칙 ("수도 도시는 할당된 국가에 남아 있어야 한다") 을 성공적으로 추론하고 정확한 줄 단위 설명을 제공했습니다. 이를 비관계형 (애플리케이션 수준) 제약 조건으로 정확히 식별했으며, 제약 조건을"null-reflexive"부분 자기 사상 (partial self-map) 으로 형식화하는 것과 관련된 정교한 수학적 대화에 참여했습니다. 변수 유형에 관한 초기 환각을 인정하고 수정했습니다.
   • Claude: 비즈니스 규칙과 제약 조건의 예방적 성격 (선택을 제한하는 대 업데이트를 차단하는) 을 정확히 이해했습니다. 저자들의 대수적 형식화를 칭찬했으며 null-reflexivity 개념을 즉시 파악했습니다.
   • Gemini: 규칙을 정확히 식별하고 1 차 논리 형식화를 제공했습니다. 그러나"Capital"함수를 단사 함수 (injection) 가 아닌 전사 함수 (surjection) 로 선언하는 치명적인 오류를 범했으며, 함수의 부분적 성격을 이해하지 못했습니다. 또한 정밀한 기술 분석 대신"Bio-Logic", "Topology of Cringe"와 같은 장황하고 비유적인 언어를 사용하는 경향을 보였습니다.

2. 복잡한 제약 조건 (가계도 애플리케이션 - 왕실 결혼):

   • 과제: 해당 코드는 부부가 동시에 같은 국가를 통치했다면 부부 관계를 교체할 수 없다는 규칙을 강제했으나, 부모와 자녀 관계인 경우 예외를 두었습니다.
   • 초기 실패: 세 모델 (ChatGPT, Gemini, Claude) 모두 코드를 오해했습니다. 코드가 특정 조건 하에서 배우자 변경 (편집/변경) 을 거부하는 것이지, 결혼 자체를 거부하는 것이 아니라는 점을 잘못 결론지었습니다.
   • 수정 및 분기:
     • ChatGPT: 수정을 받자마자 즉시 오류를 인정하고"상태 제약"과"전이 제약 (동적 무결성)"을 구분했으며, 교훈을 일반화했습니다. 규칙을 ValidState 가 아닌 AllowedTransition 으로 올바르게 재구성했습니다.
     • Gemini: 처음에는 수정을 이해한 듯 보였으나 이후 추론 과정에서 원래 오류로 되돌아갔습니다. 또한 기존 논리를 분석하는 대신 레거시 코드를 Python/SQLite 로 마이그레이션하는 방향으로 대화를 전환하려 했습니다.
     • Claude: 처음에는 다른 모델들과 동일한 오류를 범했습니다. 사용 제한으로 인한 상당한 지연 후 수정을 인정했고, 결국 코드의 의도를 정확히 이해했습니다.

의의 및 주장
본 논문은 AI 도구가 작고 단순한 코드 스니펫의 의미적 역공학에는 매우 효과적이지만, 현재는 복잡하고 다중 문장으로 구성된 레거시 코드에서는 어려움을 겪으며, 종종 의도된 논리와 정반대의 추론을 한다고 주장합니다.

• 도구 비교: 저자들은 의미적 역공학의 경우 순방향 공학과는 성능 순위가 다르다고 결론지었습니다. ChatGPT는 심층적인 반복적 수학적 대화에 참여하고, 스스로 오류를 수정하며, 상태와 전이 제약 조건을 구분하는 능력으로 인해 이 특정 작업에 가장 유능한 도구로 지목되었습니다. Claude는 순방향 공학에는 탁월하지만 초기에는 덜 효과적이었으나 결국 개념을 파악했습니다. Gemini는 코드 복잡도가 약 30 문장을 초과할 때 이 작업에"거의 무용지물"로 간주되는데, 이는 장황함, 비유에 대한 의존성, 그리고 논리적 일관성을 유지하지 못하는 능력 때문입니다.
• 인간-AI 협업: 연구는 AI 가 아직 고도로 숙련된 소프트웨어 엔지니어를 대체할 수 없다고 강조합니다. 저자들은 의미적 역공학의 성공이 AI 를 안내하는 인간 엔지니어의 능력에 크게 달려 있다고 주장하며, 특히 AI 의 형식화가 잘못되었을 때 (예: 단사 함수와 전사 함수 혼동, 또는 상태와 전이 혼동) 이를 인지할 수 있는 강력한 수학 기초 (K-12 수준 이상) 가 필요하다고 역설합니다.
• 한계: 본 연구는 AI 도구의 무료 버전과 VBA 레거시 코드로 제한되었습니다. 저자들은 구독 버전이나 다른 언어가 근본적으로 다른 결과를 낼 것이라고 주장하지는 않지만, 상호작용이 더 빠르거나 관대할 수는 있다고 언급합니다.

결론
본 논문은 의미적 역공학이 단순한 사례에서는"악몽"에서"쉬운 일"로 전환되고 있지만, 정교한 레거시 시스템에 대해서는 여전히 복잡한 과제로 남아 있다고 제시합니다. 행동 코드의 대수적 및 논리 구조를 드러낸다는 궁극적인 목표는, AI 가 신속한 분석을 제공하고 인간 전문가가 의미 해석을 검증하고 정교화하기 위해 필요한 수학적 엄밀함을 제공하는 상생 관계를 요구합니다.