Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering

あなたは、暗号化され、句読点が取り除かれ、関係者の名前がすべて消された秘密のメッセージを読もうとしているところだと想像してください。これは、セキュリティの専門家がコンピュータプログラムを「バイナリ」コード（あなたのスマートフォンやノートパソコン上で動作する、機械が読み取れる生の命令）へとコンパイルした状態を理解しようとする時に起こることです。通常、これらのプログラムには便利な「ソースコード」というマニュアルが付いていますが、ハッカーやマルウェアの作成者が足跡を隠すと、そのマニュアルは消えてしまいます。専門家は、特殊なツールを使って、そのバラバラになったバイナリを、コードのように見えるものへと翻訳しなければなりませんが、多くの場合、それは数字の羅列や「sub_401B20」のような一般的な名前が並ぶ、乱雑で混乱した塊として出てきます。これを理解するために、彼らはそれを人間にとって親しみやすい物語へと書き直す必要があり、そのプロセスは「人間志向のバイナリ・リバースエンジニアリング（Human-Oriented Binary Reverse Engineering）」と呼ばれます。しかし、ここで難しい問題があります。新しく整えられた「物語」が良いものであるかどうか、どうやって判断すればよいのでしょうか？完璧な答えが存在しないため、単にコンピュータに、完璧な答えとどれだけ単語が一致するかを数えさせることはできません（元のマニュアルは失われているからです）。また、人間の専門家にすべての行を読んでもらうのは、あまりにも時間がかかり、コストがかかり、彼らは疲れてしまいます。そこで、大きな疑問が生まれます。超スマートなAIを「審判」として教え込み、元のマニフェストと比較することなく、その翻訳が良いかどうかを判断させることはできるのでしょうか？

この論文は、まさにその問いを掘り下げ、大規模言語モデル（LLM）――詩を書いたり数学の問題を解いたりできる、あの種類のAI――が、これら乱雑なコード翻訳の「レフェリー」になれるかどうかを探求しています。研究者たちは、これらのAI審判が、単に一致する単語を探す従来のコンピュータ指標よりも、コードの「意味」を理解することにおいて非常に優れていることを発見しました。実際、AI審判は人間の専門家と63.20%の確率で一致しましたが、従来のコンピュータ手法の一致率はわずか35.04%でした。しかし、この論文は驚くべき展開も明らかにしました。あらゆる状況において機能する単一の「最高の」AI設定というものは存在しないということです。特定のAIモデルと特定の質問の仕方が、関数の命名には素晴らしい働きをしても、コードの要約には惨めに失敗することもあります。それは、ランニング、水泳、ハイキングのために一つの靴を使おうとするようなものです。用途に合わせて適切なギアを選ぶ必要があります。

この問題を解決するために、著者らは「BinJudge」と呼ばれる巧妙なシステムを構築しました。これは、各コードの断片を即座に確認し、完璧なAI審判と最適な質問方法を瞬時に選び出す、賢い交通管制官のようなものです。このシステムは、単に全員に同じ「最高の」審判を選ぶのではなく、その場で適応します。このようにすることで、BinJudgeは人間の専門家への一致度をさらに高め（最大24.7%向上）、同時に莫大なコストを削減しました（最も高価で固定的な設定にかかるコストのわずか0.06倍から0.84倍の間）。この論文は、たった一つの「魔法のボタン」で全てを解決することはできないものの、賢く柔軟なシステムを構築することで、これらのトリッキーなコード翻訳の評価を、速く、安く、そして驚くほど正確に行えることを証明しています。

背景：暗号化されたメッセージの解読

メインイベントに入る前に、いくつかの重要な概念を設定しておきましょう。

**バイナリ・リバースエンジニアリング（Binary Reverse Engineering）**は、ケーキを焼いた後、平らに潰し、上のデコレーションをすべて削ぎ落とした後に、そのケーキを再構築しようとするようなものです。あなたは最終製品（バイナリファイル）は持っていますが、レシピ（ソースコード）は持っていません。専門家は、マシンコードをプログラミングコードのように見えるものへと逆転させるために、ツールを使用してプロセスを逆行させます。しかし、元の「レシピ」は失われているため、結果はしばしば乱雑になります。

**人間志向のバイナリ・リバースエンジニアリング（HOBRE）**は、その次のステップです。それは、その乱雑で機械的なコードを取り上げ、人間が実際に読めるように磨き上げる技術です。これには、関数に（「sub_401B20」ではなく）クールで説明的な名前を付けたり、コードが何をしているのかを明確な要約として書いたり、構造を修正して、まるでよく書かれた物語のようにすることなどが含まれます。

評価の問題： 「磨き上げ」がうまくいったかどうか、どうやって知るのか？

• 従来の方法（テキスト照合）： 学生のエッセイを、教師の解答キーとどれだけ単語が一致するかを数えることで採点することを想像してください。もし学生が「猫は速く走った（The cat ran fast）」と言い、キーが「そのネコ科の動物は素早く駆け抜けた（The feline sprinted quickly）」と言っていた場合、従来のコンピュータは、単語が一致しないため「間違い！ 0点！」と判定します。これはコードにおいては不適切です。なぜなら、同じことを表現する方法はたくさんあるからです。
• 人間の方法： 人間の専門家がコードを読み、「うん、これは理にかなっている」と言います。これが「ゴールドスタンダード（黄金律）」ですが、時間がかかり、コストがかかり、規模を拡大するのが困難です。
• 新しいアイデア（LLM-as-a-Judge）： もし、何百万もの本やコードの断片を読んできたAIに、先生としての役割を頼んだらどうなるでしょうか？ 単に単語を数えるのではなく、AIは「意味」を理解します。AIは「猫」と「ネコ科の動物」が同じであることを理解しており、要約が単に立派に聞こえるだけなのか、それとも実際にコードを説明しているのかを判断できます。

論文の道のり：AI審判のテスト

リュウウェイ・シャン（Xiuwei Shang）率いる研究チームは、この「AI審判」というアイデアを検証することに決めました。彼らは単に推測したのではなく、BinJudgeBenchと呼ばれる大規模で高品質な遊び場を構築しました。

遊び場の構築：
彼らは51の実際のソフトウェアプロジェクトを取り、それらをバイナリコードにコンパイルした後、役立つ名前やコメントをすべて剥ぎ取りました。そして、8つの異なるAIモデルに対し、コードを修復するように指示しました。誰がうまくやったかを判断するために、3人の人間の専門家（いわばコードの探偵です）に結果を読ませ、1から5のスケールで採点してもらいました。彼らは以下の点を確認しました：

• それは意味が通るか？（意味論的正当性 / Semantic Correctness）
• 人間がコードをより速く理解するのに役立つか？（有用性 / Utility）
• 自然な人間のスタイルで書かれているか？（慣用表現化 / Idiomization）

これにより、1,200以上の注意深く採点された例を含む「ゴールドスタンダード」のデータセットが作成されました。

最初の発見：AI審判 vs 旧来の指標
チームは、AI審判を従来の「単語カウント」指標と比較しました。結果は明白でした。AI審判は、人間的な側面を理解することにおいて、従来の指標よりもはるかに優れていました。

• AI審判は、人間の専門家と**63.20%**の確率で一致しました。
• 従来のコンピュータ指標の一致率は、わずか**35.04%**でした。

これは、AIが単なる綴りではなく、コードの意味を実際に「理解」できることを示唆しています。それは、あなたが「こんにちは」と言う回数を数えるロボットと、あなたが本当に温かく挨拶していることを理解してくれる友人の違いのようなものです。

第二の発見：「ワンサイズ・フィッツ・オール（万能）」の神話
ここからが非常に興味深いところです。研究者たちは、AI審判に対して異なる設定を試しました：

• 異なるモデル： 巨大で高価なもの（GPT-4oなど）もあれば、より小さくて安価なものもあります。
• 異なるプロンプト： 単にスコアを出すよう求めるもの（Zero-Shot）、何が「5」で何が「1」であるかの例を見せるもの（Few-Shot）、そして思考プロセスをステップバイステップで説明させるもの（Chain-of-Thought）がありました。
• 異なる温度（Temperature）： これは、AIが回答する際の「創造性」や「ランダム性」を制御します。

彼らは、単一の最適な設定は存在しないということを発見しました。

• コードの要約のようなタスクでは、AIに例を見せること（Few-Shot）が最も効果的でした。
• 一方で、関数の命名のようなタスクでは、AIにステップバイステップで考えさせること（Chain-of-Thought）が、小型モデルの性能向上に役立ちました。
• 時には、巨大で高価なモデルがベストであり、またある時には、より小さくて安価なモデルでも十分に機能しました。

これは、単に「最高のAI」を一つ選んで、あらゆることに使うことはできないということを意味します。それは、時計を直すためにスレッジハンマーを使おうとするようなものです。時には小さなドライバーが必要であり、時には重いハンマーが必要なのです。

解決策：BinJudge（スマートな交通管制官）
単一の最適な設定が存在しないため、チームはBinJudgeを構築しました。これは、軽量なシステムであり、スマートなルーターとして機能します。

1. 特定のコードの断片を確認します。
2. 自問します。「この特定のコードに対して、どのAIモデルとどの質問スタイルが最適か？」
3. その特定の組み合わせを選び、そのコードをその審判に送ります。

BinJudgeの結果：

• より高い精度： 適切な仕事に対して適切な審判を選ぶことで、BinJudgeは、単一の静的な設定を使用した場合と比較して、人間の専門家との一致度を**4.5%から24.7%**向上させました。
• 低コスト： 小型のモデルが十分である場合には、それらを頻繁に選択することで、最も高価な「ベスト」の設定を使用する場合のコストの0.06倍から0.84倍へとコストを削減しました。

これが何を意味するか

この論文は、すべてのコードに対して高価な人間の専門家に頼る必要はなく、また、単に単語を数えるだけの愚かなコンピュータ指標に甘んじる必要もない、と結論付けています。私たちはAI審判を使うことができますが、その際には賢明である必要があります。単に一つの「最高のAI」を選ぶのではなく、適応するシステム、つまり適切な仕事に対して適切な道具を選ぶシステムが必要です。

著者らは、AI審判は優れているものの、完璧ではないことも注意深く述べています。コードが曖昧すぎたり、AIが流暢すぎて内容が伴わなかったりする場合、AIは混乱することがあります。しかし全体として、この研究は、適切な適応型システムがあれば、コードの翻訳を、速く、安く、そして人間の専門家が言うことに驚くほど近い形で評価できることを示唆しています。これは、暗く乱雑なバイナリの世界を、すべての人にとって少しでも読みやすくするための大きな一歩です。