TSCG: Deterministic Tool-Schema Compilation for Agentic LLM Deployments

TSCG は、非効率的な JSON スキーマをトークン効率の高い構造化テキストに変換することで、現在のツール使用失敗の大部分を引き起こしている形式の不一致を解決し、本番環境における小規模および最先端の LLM のツール使用精度を大幅に向上させる、決定論的かつ依存関係ゼロのツールスキーマコンパイラです。

要約

非常に賢いものの、少し圧倒されがちなアシスタントに、一連の指示を与えようとしている状況を想像してみてください。

問題点：「JSON」という言語の壁
現在、コンピュータプログラム（AI エージェントなど）が、自分が持っているツール（「ウェブを検索する」や「天気を確認する」など）について互いに話す際、JSONと呼ばれる形式を使用します。JSON は、コンピュータが素早く読み取れるように設計された、硬直的で技術的な文書管理システムのようなものです。括弧、引用符、そして繰り返されるラベルで溢れています。

人間のような AI モデル、特に小さく高速なモデルにとって、この JSON を読むことは、すべての単語が重く混乱を招くプラスチックケースに包まれた本を読もうとするようなものです。AI はその「プラスチック」（余分な記号や構造）にあまりにも引きずり込まれてしまい、実際の指示を忘れてしまいます。この論文ではこれを「プロトコルの不一致」と呼んでいます。AI は自然言語の文章ではなく、コンピュータのファイルを読もうとしているのです。

解決策：TSCG（「翻訳者」かつ「編集者」）
著者のフルカン・サキズリは、TSCG（Token-Context Semantic Grammar）と呼ばれるツールを開発しました。TSCG は、コンピュータと AI の間に位置する、超高速で決定論的な編集者だと考えてください。

AI が指示を見る前に、TSCG はごちゃごちゃした JSON ファイルを即座に、清潔で自然な響きのテキスト形式に書き換えます。これは、密度の高い法的契約書を、明確な箇条書きの指示リストに書き換えるようなものです。

仕組み（8 人の「編集者」）
TSCG は魔法や推測を使用しません。テキストを整理するために、8 つの特定のルール（「演算子」と呼ばれる）の固定セットを使用します。

1. 不要なものを除去する：「以下の項目」のような丁寧な言葉や、人間が読む必要のない冗長なフレーズを削除します。
2. 家具を配置し直す：指示の最も重要な部分を文の最初と最後に移動させます。AI モデルは文の最初と最後に最も注意を払うためです（物語の「ブックエンド」のようなものです）。
3. AI の言語で話す：記号を、AI の内部辞書が複数の破片ではなく単一の「チャンク」として認識するものに変更し、スペースを節約します。

結果：小型モデルにとっての奇跡
この論文では、40 億から 140 億の「脳細胞」を持つ小型モデルから、巨大なトップクラスのモデルまで、12 種類の異なる AI モデルでテストが行われました。

• 小型モデルの場合：結果は劇的でした。TSCG なしでは、20 個のツールのリストを与えられた際、JSON があまりにも混乱を招くため、小型モデルはほぼ完全に失敗していました（精度 0%）。TSCG を使用すると、その精度は**84%**まで跳ね上がりました。まるで AI が突然「目覚め」、ようやくタスクを理解できるようになったかのようです。
• 大型モデルの場合：超賢いモデルさえも改善されました。それらはより正確になり、AI の思考時間の通貨である「トークン」の使用量を減らし、コストと速度の面で節約になりました。

「ひらめき」の瞬間：圧縮だけでなく、形式の問題である
この論文で最も興味深い発見の一つは、なぜこれが機能するのかという理由です。著者は、多くの小型モデルにとって、問題が単にテキストが長すぎることではなく、形式（JSON）自体が敵であったことに気づきました。

著者が「JSON テキスト」と「特別な圧縮なしのプレーンテキスト」を比較したところ、プレーンテキスト単体で問題の大部分が解決しました。TSCG はその究極のバージョンです。形式を修正し、かつテキストを圧縮します。

「万能」の神話
この論文はまた、すべての AI モデルが同じように反応するわけではないことを発見しました。

• 一部のモデルは**「欲張り」**です：TSCG が適用するすべてのルールを好み、すべての変更で賢くなります。
• 一部のモデルは**「敏感」**です：いくつかのルールは好みますが、他のルールには混乱します。変更が多すぎると、実際にはパフォーマンスが悪化します。
• 一部のモデルは**「堅牢」**です：あまり気にしません。何があってもよく機能します。

これは、すべての AI に適用できる単一の「完璧な」設定が存在しないことを意味します。使用する AI に応じて、編集者を調整する必要があります。

要約
TSCG は、翻訳者として機能する無料のオープンソースツールです。ツールの定義に関する、硬直的でコンピュータ専用の言語を即座に、AI モデルが実際に理解できる形式に変換します。これにより、以前は失敗していた実世界でのアプリケーションにおいて、より小さく安価な AI モデルが効果的に機能できるようになり、また最大のモデルをより高速かつ正確にします。これは混乱した問題に対するシンプルな解決策です。AI にはコンピュータコードで話しかけるのをやめ、プレーンテキストで話しかけ始めることです。

技術概要

技術概要：TSCG – エージェント型 LLM 展開のための決定論的ツールスキーマコンパイル

1. 問題定義

本番環境のエージェントフレームワーク（OpenAI 関数呼び出し、Anthropic ツール使用、MCP など）は、ツール定義を JSON スキーマとして大規模言語モデル（LLM）に伝達する。JSON は決定論的な機械パースと人間による可読性のために最適化されているが、自己回帰型言語モデルの解釈には最適ではない。

このプロトコルの不一致は、小規模モデル（4B–14B パラメータ）にとって「能力の断崖」を生み出す。JSON スキーマデータの量が増加するにつれて、ツール呼び出しの精度は崩壊し、15 個を超えるツールのカタログでは 0–49% まで低下する。この問題は、以下の 3 つの主要なコストを課す：

1. トークンコスト: スキーマは純粋な構造的冗長性を導入し、呼び出しごとに 3,000–25,000 トークンを消費する。
2. 能力コスト: 小規模モデルは大規模な JSON 形式スキーマを信頼性高くパースできず、エージェント機能のロックを最先端 API の背後に留め置いている。
3. スケーリングコスト: スキーマのオーバーヘッドはカタログサイズに比例して線形に増大する。

本論文は、これを単なる圧縮問題ではなく、API 境界において異なる表現を必要とするプロトコル適応問題として位置づける。

2. 手法：TSCG フレームワーク

著者は、JSON スキーマをトークン効率の高い構造化テキストに変換する決定論的ツールスキーマコンパイラである**トークンコンテキスト意味文法（TSCG）**を導入する。TSCG はモデルへのアクセス、微調整、ランタイム検索を必要とせず、プリトークナイゼーションコンパイラとして機能する。

2.1 パイプライン

TSCG は、5 つのフェーズに整理された 10 の決定論的変換の固定順序パイプラインを適用する：

1. パース: 入力 JSON のセグメンテーション。
2. 圧縮:
   • SDM（意味密度最大化）: フレーバートークン（丁寧さのマーカ、留保表現、冗長な接続詞）を除去する。
   • TAS（トークナイザー整合構文）: BPE 境界に基づいてトークン数を最小化するデリミタ変種を選択する（例：→ ではなく -> を使用）。
   • DRO（デリミタ役割最適化）: 冗長な構文フレーズをコンパクトなデリミタに置換する。
3. 構造化:
   • CFL（制約優先レイアウト）: 「アテンションシンク」現象を利用するため、出力制約を位置 0 に再配置する。
   • CFO（因果前方順序付け）: 前提条件が因果的にアクセス可能であることを保証するため、多段階操作をトポロジカル順序に再順序化する。
4. 脆弱性:
   • CAS（因果アクセススコア）: 脆弱性（重要性対アクセス性）によってアトムをスコアリングし、高脆弱性アトムを先頭（アテンションシンク）と末尾（直近バイアス）に配置する。
   • SAD-F（選択的アンカー重複）: トークン予算内で重要なアトムを重複させ、主要情報を強化する。
5. 閉鎖:
   • CCP（因果閉鎖原理）: 末尾に要約ブロックを付加する（ただし、実証結果では、これは一貫した精度向上をもたらさずオーバーヘッドを追加することが示されている）。

2.2 理論的基盤

これらの演算子は、因果的自己回帰トランスフォーマーの 3 つの性質に基づいている：

• 因果的アテンション: 初期トークンは後続のトークンにアクセスできない。したがって、前提条件は依存するステップに先行しなければならない（CFO）。
• アテンションシンク: 位置 0 は不均衡なアテンションを受ける。重要な制約はそこに配置すべきである（CFL）。
• BPE の非単調性: 文字列長はトークン数と線形に相関しない。表面形式は学習された BPE マージと整合するように選択できる（TAS）。

このフレームワークは、形式化された圧縮限界を提供し、well-formed なスキーマにおいて $\ge 51\%$ のトークン削減を保証する。

3. 主要な貢献

1. 形式最適化フレームワーク: トランスフォーマーのメカニズムとリンクした数学的仕様を備えた 8 演算子システム。トークナイザー認識と因果的アテンションの基盤を満たす。
2. メカニズム分解: 「フォーマット対圧縮」の分析により、小規模モデルにとっては表現の変更（JSON からテキストへ）が支配的なメカニズムである一方、最先端モデルにとっては構造的圧縮が有益であることを実証。
3. TAB ベンチマーク: 12 モデル（4B–32B ローカル + 最先端 3 モデル）と 5 シナリオにわたる約 19,000 回の API 呼び出しから構成される、初のツールスキーマ圧縮ベンチマーク（TSCG-Agentic-Bench）。
4. 小規模モデルの機能回復: TSCG が小規模モデル（4B–14B）の精度をほぼゼロから機能的なレベル（65–90%）に回復させ、ローカル展開を可能にすることを実証。
5. モデル別演算子マトリクス: 最先端モデル間で 3 つの異なる演算子応答プロファイル（演算子渇望型、演算子感受性型、演算子堅牢型）を特定し、普遍的な構成が存在しないことを証明。
6. スケーリング特性の記述: 軽量合成カタログで飽和する場合でも、重厚な本番 MCP スキーマにおいて精度上の優位性が維持されることを示す。
7. 実装: 1,200 行、ゼロ依存性の TypeScript パッケージで、サブミリ秒時間で実行。

4. 実験結果

4.1 小規模モデルの回復

TAB ベンチマークにおいて、TSCG は小規模モデルのツール使用精度を劇的に改善した：

• Phi-4 (14B): 20 ツールで**0%から84.4%**の精度に回復（50 ツールでは 90.3%）。
• Mistral 7B & Gemma 3 4B: 20–50 ツールで大幅な改善（+17 から +63 ポイント）を示した。
• 分解: これらのモデルにとって、改善は主にフォーマット変換（JSON から構造化テキストへの変換）によって引き起こされ、圧縮によるものではない。テキストベースラインと比較した場合、「圧縮」の利益は消滅するか逆転し、ボトルネックがコンテキスト長ではなく JSON パースであることを確認した。

4.2 最先端モデルのパフォーマンス

最先端モデル（Claude Sonnet 4, GPT-4o, GPT-5.2）に対して、TSCG は真の構造的圧縮の利益を提供した：

• Claude Sonnet 4: 50.1% のトークン節約を達成し、85.2% の精度（ネイティブ JSON の 74.0% 対比）を達成。
• GPT-5.2: シナリオ A で有意な改善（+29.7 ポイント）を示したが、性能は演算子プロファイルによって変動した。
• 精度維持率（ARR）: TSCG は BFCL 外部検証ベンチマークで 108–181% の ARR 値を達成した。

4.3 演算子感受性のアーキタイプ

演算子ごとの分離実験により、3 つの異なる行動プロファイルが明らかになった：

• 演算子渇望型（例：Opus 4.7）: すべての演算子から利益を得る。フルパイプラインが最適。
• 演算子感受性型（例：GPT-5.2）: 特定の演算子（CFO など）が性能を低下させる可能性がある。選択的な構成が必要。
• 演算子堅牢型（例：Sonnet 4）: ほとんどの演算子に対して不変。安全な構成であれば任意のものが機能する。

4.4 スケーリングと一般化

• 重厚スキーマ: 重厚な本番 MCP スキーマ（入力トークン約 10,500）において、TSCG は +5.0 ポイントの精度優位性を維持したが、軽量合成カタログでの利益は 75–100 ツールで飽和した。
• ベンチマークの有効性: 合成 TAB ベンチマークは、0.1 精度ポイント以内で実世界の MCP パフォーマンスを予測した。

5. 意義と主張

本論文は、TSCG がエージェント型 LLM インフラにおける重大かつ未解決のギャップ、すなわちモデル消費における JSON スキーマの非効率性を解決すると主張する。

• アーキテクチャ的転換: TSCG は、スキーマ圧縮をプロンプトエンジニアリング技術ではなく、アーキテクチャ的選択（外部コンパイル）として位置づける。トークナイゼーションはモデルの前に行われるため、モデルが入力を後から「再枠組み付け」できないことがその理由である。
• 展開ガイダンス: この研究は、展開のためのデータ駆動型分類体系を提供する。小規模モデルは（しばしば「保守的」プロファイルを介した）フォーマット変換を必要とする一方、最先端モデルは構造的圧縮の恩恵を受ける。
• エコシステムへの影響: 著者は、エージェント型エコシステム全体の効率を標準化するために、パッケージレジストリ（npm/PyPI）に類似した、コミュニティ-curated なプリコンパイル済みツールスキーマのレジストリの作成を提案する。

本論文は、TSCG が決定論的かつゼロ依存性のコンパイラを通じて、プライバシー制約のあるローカルハードウェア上で機能的なツール使用エージェントを可能にすると同時に、最先端モデルのトークン使用を最適化すると結論づけている。