Tokenomics: Quantifying Where Tokens Are Used in Agentic Software Engineering
本論文は、LLMベースのマルチエージェント・ソフトウェアエンジニアリング・システムにおけるトークン消費パターンを分析しており、反復的なコードレビュー段階と入力トークンがリソース使用量を支配していることを明らかにしており、それによって、主なコストは初期のコード生成ではなく、自動化された洗練および検証にあることを強調している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
AIロボットのチームを雇って、あなたのためにソフトウェアを作らせると想像してみてください。あなたは、最もコストがかかるのは実際の「構築」（コードを書くこと）だと思うかもしれません。しかし、この論文は、それが「家を建てる際、最もコストがかかるのはレンガを積む作業だと思っているが、実際には、チームが塗装の色が正しいかどうかで議論し続ける果てしない会議にこそコストが発生している」という考え方に似ていると示唆しています。
研究者が発見した内容の簡単な内訳は以下の通りです：
大きな概念：「トークノミクス（Tokenomics）」
著者らは、AIの「経済学」を表現するために、**「トークノミクス」という新しい言葉を作り出しました。人間のチームが給与やコーヒー代に資金を費やすのと同様に、AIチームは「トークン」（AIが思考し、会話するために使用する通貨）を消費します。AIがプロンプトを読み取ったり、コードを一行書いたりするたびに、トークンが発生します。研究者たちは、「このお金は一体どこへ消えているのか？」**という単純な問いに答えようとしました。
実験：仮想ソフトウェア工場
これを知るために、研究者たちはChatDevと呼ばれる仮想ソフトウェア会社を設立しました。彼らはこのAIチームに、単純な数学の問題からチェスゲームの構築まで、30種類の異なる仕事を与えました。そして、非常にスマートなAIモデル（GPT-5）を使用してチームを動かしました。
研究者たちは、AIチームがステップごとにどのように作業を進めるかを観察し、使用されたすべてのトークンを追跡し、それらのステップを現実世界のソフトウェア開発段階に対応させました。
- 設計（Design）： 何を作るかの計画。
- コーディング（Coding）： 初稿の作成。
- コードレビュー（Code Review）： 作業のチェックと修正。
- テスト（Testing）： 動作確認のための破壊的検証。
- ドキュメント作成（Documentation）： マニュアルの執筆。
驚くべき結果
1. 「コードレビュー」が資金の底なし沼である
「コーディング」フェーズが最も高価であると予想されるかもしれません。しかし、そうではありませんでした。
- 比喩： 建設現場を想像してください。釘を打つ実際の作業（コーディング）は速くて安上がりです。しかし、現場監督と建築家が同じ壁を指差しながら、何度もプランを書き換えたり、寸法をチェックしたり、議論したりして歩き回っている部分は？ それが**「コードレビュー」**です。
- 発見： 研究者たちは、全トークン（資金）の**59.4%**が、この「コードレビュー」フェーズだけに費やされていたことを発見しました。AIエージェントたちは、コードを洗練させ修正するために絶えず互いに話し合っており、これが非常に高価な作業となっていました。
2. 「リスニング（聞き取り）」税
AIのトークンは、3つのタイプに分かれます：インプット（AIが読み取るもの）、アウトプット（AIが書き出すもの）、リーズニング（AIが思考するもの）です。
- 比喩： パズルを解こうとしている人々のグループを想像してください。彼らは指示を読み、ピースを確認するために2分間（インプット）を費やしますが、実際にピースを置く作業には1分間（アウトプット）しか使いません。
- 発見： AIは時間の53.9%を、単にコンテキスト（文脈）を読むことに費やしていました。研究者たちはこれを**「コミュニケーション税」**と呼んでいます。エージェント同士がループの中で会話するため、彼らは会話全体とコードを何度も何度もやり取りし続けています。彼らは新しい何かを創造するのではなく、すでに知っていることを繰り返すことに予算の大部分を費やしているのです。
3. 仕事によってコストが変わる
- コーディング： これは実際には最も安い部分でした。これは「アウトプット重視」であり、AIが新しいものを書き出している状態でした。
- ドキュメント作成とレビュー： これらは「インプット重視」でした。AIは、ごく小さな要約を書いたり、小さなバグを見つけたりするために、膨大な既存のコードを読まなければなりませんでした。
結論
この論文は、AIを用いたソフトウェア開発のコストが高い理由は、AIがコードを書くのが下手だからではないと結論付けています。それは、AIチームが互いに会話をするのが非効率的だからです。
彼らは、作業をチェックし再確認するループ（コードレビュー）と、同じコンテキストを読み直す作業（インプット）に、資源の大部分を費やしています。研究者たちは、もしAIによるソフトウェア開発をより安く、より速くしたいのであれば、AIにコードを速く書かせることに焦点を当てるのではなく、AIチームがこれ以上「議論」したり「読み直し」をしたりしないようにすることに焦点を当てるべきだと示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。