Leveraging Large Language Models to Obscure Code Stylometry: A Comparative Study of GPT-3.5 and GPT-4
本研究は、著者特定分類器を回避するためのコード・スタイロメトリー（記述統計学的特徴）の隠蔽におけるGPT-3.5およびGPT-4の有効性を評価しており、マルチショット・プロンプティングと詳細な指示がスタイルの隠蔽を著しく向上させる一方で、そのような修正を行う際のコード機能の維持における固有の課題を明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、顔ではなく筆跡によって容疑者を特定しようとしている探偵だと想像してください。プログラミングの世界では、この「筆跡」は**コード・スタイロメトリー（コード文体論）**と呼ばれます。すべてのプログラマーには、行の間隔の空け方、変数への命名規則、ロジックの構造化の仕方など、独自の習慣があります。探偵がメモから容疑者を特定できるように、サイバーセキュリティの専門家は、これらのデジタル指紋を利用して、誰がソフトウェアを書いたのかを突き止めます。これは、悪意のあるプログラムの作者を捕まえるために極めて重要です。
しかし、新たなプレイヤーがゲームに参入しました。GPT-3.5やGPT-4のような**大規模言語モデル（LLM）**です。これらのAIモデルは、非常に有能な「ゴーストライター」だと考えてください。彼らはコードを読み、それが正確に何を行うかを理解した上で、機械への指示内容は全く同じまま、完全に異なる「筆跡」を用いてゼロから書き直すことができます。
この研究論文は、これらのAIゴーストライターが、コードを壊すことなく、いかに優れた作者のアイデンティティ隠蔽を行えるかをテストするものです。
実験：「スタイル・スワップ」チャレンジ
研究者たちは、2つの主要なチームによるコンペティションを設定しました。
- 探偵（デテクティブ）： さまざまなプログラマーの独特な「筆跡」を認識するように訓練されたプログラム（ランダムフォレスト分類器）。
- ゴーストライター（幽霊執筆者）： コードを偽装しようとするAIモデル（GPT-3.5およびGPT-4）。
研究者たちはAIに10種類の異なるJavaコードを与え、以下の4つの戦略を用いてそれらを書き換えるよう指示しました。
- 「ただ実行せよ」アプローチ： 「このコードのスタイルを変更してください」という単純なコマンド。
- 「模倣者」アプローチ： 「このコードを、[有名なプログラマーX]や[特定の地域]の人が書いたように書き換えてください」。
- 「聞き真似」アプローチ： 「ここに特定のスタイルの例があります。この例に合わせてコードを書き換えてください」。
- 「翻訳者」アプローチ： 「このJavaコードをC++に翻訳し、その後、再びJavaに翻訳してください」。この翻訳プロセスによって、AIが新しいスタイルの選択を強制されるという考えに基づいています。
彼らはこれらの戦略を、2つの方法でテストしました。
- シングルショット（単発指示）： AIに一度にすべての作業を行わせる。
- マルチショット（多段階指示）： タスクを小さく、ステップバイステップの指示に分解する（例：「まずコードを分析し、次に変更点をリストアップし、それから書き換える」）。
結果：ゲームの勝者は誰か？
1. AIは隠蔽において進化していた
この研究では、AIモデルが「筆跡」を変えることに驚くほど長けていることが判明しました。
- GPT-4の方が優れたゴーストライターだった： GPT-4は、GPT-3.5よりも、元の作者のアイデンティティを隠すという点において概して優れた成果を上げました。
- ステップバイステップの指示が最も効果的だった： 研究者が詳細な多段階の指示（マルチショット）を与えた場合、単純な一行のコマンド（シングルショット）を与えるよりも、コードの偽装に大きく成功しました。これは、学生に「物語を書いて」と言うのと、「まずプロットを構成し、次にキャラクターを作り、それから台詞を書いて」と言うのを比較するようなものです。後者の方法の方が、より良い結果をもたらしました。
- 「翻訳」のトリックが最強だった： コードを別の言語に翻訳してから再び戻すという戦略（戦略4）が、スタイルの指紋をかき乱す上で最も効果的な方法でした。
2. 「壊れたコード」問題
しかし、落とし穴がありました。AIはスタイルを変えることには長けていましたが、完璧ではありませんでした。
- ゴーストライターに小説を書き直してもらいつつ、プロットは全く変えないよう頼む場面を想像してください。時として、彼らは登場人物の名前をあまりに変えすぎてしまい、物語が成立しなくなることがあります。
- 本研究において、書き換えられたコードを実行しようとしたところ、41%がコンパイルに失敗しました（起動すらできませんでした）。また、1%は起動したものの、テストに失敗しました。
- 書き換えられたコードのうち、実際に完璧に動作したのはわずか**58%**でした。
- 動作したコードの中でも、探偵プログラムを欺くことに成功したのはわずか17%でした。つまり、100回の試行のうち、機能的であり、かつ偽装にも成功したコードは、およそ10件程度であったことを意味します。
結論
この論文は、GPT-4のようなAIモデルはコードのスタイルを変更する強力なツールであり、作者のアイデンティティを隠すことに成功できる一方で、まだ完璧な「透明化装置（インビジビリティ・クローク）」ではないと結論付けています。
- 助けが必要である： 単純なコマンドよりも、詳細なステップバイステップの指示を与えたときの方が、AIはうまく機能します。
- 壊してしまうリスクがある： スタイルを変える過程で、AIが誤ってコードの機能を壊してしまうリスクが高いです。
- いたちごっこの継続： AIがコードのスタイルを隠す能力を高めるにつれ、「探偵」（サイバーセキュリティツール）も、彼らを捕まえるためにより賢くなる必要があります。
研究者たちは、この研究が現在の能力を示す一場面であることを強調しています。AIは「筆跡」を曖昧にすることはできますが、それを行う際に「物語」（コードの機能）を壊さないようにすることは、依然として大きな課題であるということが分かりました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。