Semantic Reverse Engineering Legacy Software Applications with ChatGPT, Gemini AI, and Claude AI

本研究論文は、ChatGPT、Gemini、Claude AI を活用してレガシーなデータベースソフトウェアアプリケーションを意味的にリバースエンジニアリングするに関する知見を提示する。

要約

想像してください。もう誰も話さない言語で書かれた、古びて埃っぽい本の図書館があると。辞書はなく、著者も久しく亡くなっています。あなたの目標は、単にページ上の文字をコピーすること（それは簡単です）ではなく、著者が従おうとしていた物語、論理、そして規則を理解することです。

この論文は、3 種類の「超知能ロボット」（ChatGPT、Gemini、Claude）を用いて、これらの古いコンピュータプログラムを読み、それらが実際に何をしているのかを説明しようとする研究者チームの取り組みについて述べています。

以下に、彼らの実験を単純なアナロジーを用いて解説します。

任務：機械の中の「幽霊」の解読

研究者たちは、クラブの門番のように振る舞う古いソフトウェア（「レガシーコード」と呼ばれる）を持っていました。この門番には特定の規則がありました：

1. 地理の規則：「ある都市が国の首都であるならば、それはその国に属しなければならない。」
2. 王室の規則：「2 人の王が同時に同じ国を統治することはできない。ただし、彼らが結婚しているか、親子関係にある場合は例外とする。」

問題は、このコードが古いスタイル（VBA）で書かれており、なぜそのような書き方をしたのかを説明するコメントが一切なかったことです。研究者たちは、AI がコードを見て、「ああ、なるほど！このコードは、首都は国と一致しなければならないという規則を強制しているのだ」と言えるかどうかを確認したかったのです。

3 体のロボット（AI ツール）

研究者たちは 3 人の異なる AI「探偵」をテストしました。

1. ChatGPT：思慮深い家庭教師

• 仕組み：ChatGPT は、正しく理解したいと切望する賢い学生のようなものでした。研究者が最初の単純な規則を与えると、それは完璧に理解しました。
• 過ち：複雑な「王室の規則」を与えると、ChatGPT は当初、物語を誤解しました。コードは結婚を拒絶していると誤解しましたが、実際には既存の結婚の変更を拒絶していました。
• 回復：研究者がそれを正すと、ChatGPT は単に「わかりました」と言うだけでなく、「ああ！私の過ちに気づきました。論理の誤った部分を見ていました。おっしゃる通り、結婚の状態そのものではなく、配偶者を変更する移行に関する問題なのです」と言いました。それは修正から学び、なぜ間違っていたのかを説明しました。
• 判定：深い意味を理解し、ミスを犯したことを認める点で最も優れていました。

2. Claude：優雅な詩人

• 仕組み：Claude は非常に礼儀正しく、コードの数学的美しさを賞賛しました。単純な規則は即座に理解し、研究者の巧みな論理を称賛しました。
• 過ち：ChatGPT と同様、複雑な「王室の規則」を最初に誤解しました。「結婚したカップルにとって、同時統治は不可能である」という混乱を招く主張を行い、それは理にかなっていませんでした。
• 回復：修正されると、誤りを認め、最終的に論理を理解しました。しかし、会話するのが非常に遅く（研究者は質問の間、数時間待たなければなりませんでした）、プロセスは非常に遅く、形式的なティーパーティーのようでした。
• 判定：理解力は非常に優れていましたが、遅く、やや硬直していました。

3. Gemini：過度に熱心な芸術家

• 仕組み：Gemini は最も劇的でした。「このコードは都市が国に属するかどうかをチェックする」と言う代わりに、「これは倫理的な断絶を検出するバイオロジック自己修復センサーです」のようなことを言いました。細菌、石灰岩、迷路などの比喩を多用し、古いコードを分析する代わりに、異なる最新のツールを使用するよう研究者を説得しようとしました。
• 過ち：単純な数学を誤り（単射を全射と呼ぶなど）、修正されると理解したふりをしながらも同じ過ちを繰り返しました。
• 判定：言葉が華やかで冗長すぎました。自らの比喩に迷い込み、事実を踏まえることができませんでした。

大発見：「状態」と「変化」の違い

この論文から得られた最も重要な教訓は、論理における微妙だが巨大な違いです。

• 状態：現在の状況は有効か？（例：「この結婚は法的に有効か？」）
• 移行：状況を変更する行為は有効か？（例：「夫を他の誰かに入れ替えることはできるか？」）

研究者たちは、AI ツールが「状態」（単純な規則）を見つけるのは得意だと発見しました。しかし、複雑な「移行」の規則（王室の規則）になると、すべてが混乱しました。コードは結婚自体を阻止していると誤解し、実際には結婚の変更を阻止していたのです。

最終結論

研究者たちは以下のように結論付けました。

1. AI は小さなパズルには優れた助手である：AI に小さなコードの断片を与えれば、それを非常に良く説明できます。
2. AI はまだ専門家の代わりにはならない：コードが少し大きくなったり複雑になったりすると、AI は自信を持って、コードが行っていることと正反対のことを説明する可能性があります。
3. 数学が重要である：研究者たちは、AI ツールが最も機能したのは、それらを導く人間が数学（集合論や論理など）を知っている場合だと指摘しました。AI は、正しい軌道に保つために「論理」を話す人間を必要とします。

要約すると：これらの AI ツールは非常に優秀なインターンのようなものです。マニュアルを読み、基本を完璧に説明できますが、トリッキーで現実的なシナリオを与えると、自信を持って間違った物語を語るかもしれません。彼らの仕事を二重チェックするために、熟練した人間のエンジニアが必要です。

技術概要

技術概要：ChatGPT、Gemini AI、Claude AI を用いたレガシーソフトウェアアプリケーションのセマンティック・リバースエンジニアリング

問題定義
従来のソフトウェアリバースエンジニアリング（RE）は主に構文論的であり、ソースコードやバイナリ構造の復元を目的とし、必ずしもその背後にある意図や「ビジネスルール」を理解するものではありません。脱難読化やマルウェア検出のためのツールは存在しますが、レガシーコードから制約の形式的定義を推論するために必要な意味論的層を扱うことは稀です。本研究は、セマンティック・リバースエンジニアリングの課題に取り組みます。具体的には、レガシーソースコード（特に非リレーショナルデータベース制約を強制する MS Access VBA）を入手し、集合論、関係、関数、および一階述語論理を用いてその形式的定義を推論し、さらにそれを正確な平易な英語で表現することを目指します。著者らは、以前の研究がデータベーススキーマを（初等的）数学的データモデル（(E)MDM）へのリバースエンジニアリングに焦点を当てていたのに対し、本研究はそれ自体の「アプリケーション」のリバースエンジニアリングを標的としていると指摘しています。

手法
本研究では、3 つの大規模言語モデル（LLM）を利用しました。ChatGPT（Plus 5.3 および Mini）、Gemini（3）、および**Claude（Sonnet 4.6）**です。実験設定は以下の通りでした。

• ハードウェア/ソフトウェア: Toshiba Satellite Intel CORE i7、MS Windows 10、MS Access 365、および (E)MDM に基づくインテリジェントデータ管理システムのプロトタイプである MatBase v.5.2。
• 入力データ: 2 つのレガシーアプリケーションからのコードスニペット。これらは地理データベースと家系図データベースから採取されました。これらのスニペットは、複雑な非リレーショナル制約（例：「国の首都はその国に属する都市でなければならない」という制約、および王室の結婚や治世に関する歴史的制約）を強制するものでした。
• 前処理: 著者らは、AI が明示的なドキュメントやランタイムフィードバックなしにコードの意図を理解できるかをテストするため、VBA コードからすべてのコメントを意図的に削除し、エラーメッセージ表示文（MsgBox）を除去しました。
• プロセス: 研究者は AI モデルと反復的な対話を行いました。彼らはコードスニペットを提供し、モデルに対して以下のタスクを依頼しました。
  1. 「ビジネスルール」を推論する。
  2. 行ごとの説明を提供する。
  3. 数学的論理（集合論、圏論、一階論理）を用いて制約を形式化する。
  4. 著者からのフィードバックに基づき、形式化を批判し洗練させる（例：全関数と部分関数の区別、または状態制約と遷移制約の区別を修正する）。

主要な結果
3 つの AI ツールのパフォーマンスは、単純なコードスニペットと複雑なコードスニペットの間で大きく異なりました。

1. 単純な制約（地理アプリケーション）:

   • ChatGPT: ビジネスルール（「首都は割り当てられた国に留まらなければならない」）を正常に推論し、正確な行ごとの説明を提供しました。また、その制約が非リレーショナル（アプリケーションレベル）であることを正しく特定し、制約を「null-reflexive（非反射的）」な部分自己写像として形式化することに関する高度な数学的対話を行いました。変数の種類に関する初期の幻覚を認め、修正しました。
   • Claude: ビジネスルールと、制約の能動的性質（更新をブロックするのではなく選択肢を制限する）を正しく理解しました。著者の代数的形式化を称賛し、即座に null-reflexivity の概念を把握しました。
   • Gemini: ルールを正しく特定し、一階論理による形式化を提供しました。しかし、「首都」関数を単射ではなく全射と宣言するという決定的な誤りを犯し、関数の部分性を理解できませんでした。また、「Bio-Logic」や「Cringe のトポロジー」といった比喩的な言語に頼り、精密な技術分析よりも冗長な表現を示す傾向がありました。

2. 複雑な制約（家系図アプリケーション - 王室の結婚）:

   • 課題: コードは、特定の条件（親子関係でない限り）を満たさない限り、同じ国を同時に統治していた夫婦を交代させられないというルールを強制していました。
   • 初期の失敗: 3 つのモデル（ChatGPT、Gemini、Claude）はすべて、コードを誤解しました。彼らは、コードが特定の条件下での配偶者の変更（編集）という「遷移」を拒否するのではなく、結婚そのものを拒否すると誤って結論付けました。
   • 修正と分岐:
     • ChatGPT: 修正後、即座に誤りを認め、「状態制約」と「遷移制約（動的整合性）」を区別し、教訓を一般化しました。ルールを ValidState ではなく AllowedTransition として再構成することを正しく行いました。
     • Gemini: 当初は修正を理解したように見せかけましたが、その後、推論において元の誤りに戻りました。また、既存のロジックの分析ではなく、レガシーコードを Python/SQLite へ移行する話題へと会話を転換しようとする試みも見せました。
     • Claude: 当初、他のモデルと同様の誤りを犯しました。利用制限による大幅な遅延の後、修正を認め、最終的にコードの意図を正しく理解しました。

意義と主張
本論文は、AI ツールが小規模で単純なコードスニペットのセマンティック・リバースエンジニアリングには非常に効果的である一方、複雑で多文節のレガシーコードでは苦戦しており、意図された論理と正反対の推論を導くことが多いと主張しています。

• ツール比較: 著者らは、セマンティック・リバースエンジニアリングにおける性能の階層は、フォワードエンジニアリングとは異なると結論付けています。ChatGPTは、深い反復的な数学的対話に参加し、自らの誤りを修正し、状態制約と遷移制約の区別を理解する能力により、この特定のタスクにおいて最も有能であると特定されました。Claudeはフォワードエンジニアリングには優れていますが、当初は効果が低く、その後概念を把握したとされています。Geminiは、コードの複雑さが約 30 文を超えると、その冗長性、比喩への依存、論理的整合性の維持 inability により、このタスクに対して「ほぼ無用」と判断されました。
• 人間と AI の協働: 本研究は、AI がまだ熟練したソフトウェアエンジニアを代替できないことを強調しています。著者らは、セマンティック・リバースエンジニアリングの成功は、AI を導く人間のエンジニアの能力に大きく依存すると論じています。具体的には、AI の形式化が誤っている場合（例：単射と全射の混同、または状態と遷移の混同）を認識するために、K-12 レベル以上の数学的基盤が強く必要とされます。
• 限界: 本研究は、AI ツールの無料バージョンと VBA レガシーコードに限定されました。著者らは、サブスクリプション版や他の言語が根本的に異なる結果をもたらすとは主張していません。単に、より迅速または寛大な対話が可能になる可能性があると述べています。

結論
本論文は、セマンティック・リバースエンジニアリングは単純なケースにおいては「悪夢」から「至福」へと移行しつつあるが、複雑なレガシーシステムにおいては依然として複雑な課題であると提唱しています。最終的な目標である、行動コードの代数的および論理構造を明らかにすることは、AI が迅速な分析を提供し、人間の専門家がセマンティック解釈を検証・洗練するために必要な数学的厳密性を提供する、相補的な関係（共生関係）を必要とします。