💻 computer science

Testing JSON Schema Instruction Artifacts: Distributional Robustness under Validation-Equivalent Serialization and JSON Mode

本研究は、バリデーションにおいて等価なJSON Schemaのシリアライズ化であっても、言語モデルの出力分布に統計的に有意かつ実用的に意味のある変化を誘発し得ることを示しており、これはバリデーションの等価性のみでは、展開されたシステムにおける分布の堅牢性を保証するための回帰オラクルとして不十分であることを明らかにしている。

原著者： Shengyao Sun

公開日 2026-08-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shengyao Sun

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いが、少し融通の利かないロボットに、特定の種類のサンドイッチを作るための指示を出している場面を想像してください。あなたは紙にその指示を書き込みます。ここで、「このサンドイッチのレシピは完璧です」と書かれた魔法のスタンプがあるとしましょう。このスタンプは、必要な材料（パン、チーズ、ハム）がすべて揃っているか、そして誤ってマスタードを入れ忘れていないかをチェックします。しかし、ここには落とし穴があります。スタンプは、あなたが手順をどの順番で書いたかは気にしません。「パンの上にハムを乗せ、次にチーズを乗せる」と書いても、「パンの上にチーズを乗せ、次にハムを乗せる」と書いても、最終的なサンドイッチの構成要素は同じであるため、スタンプは同じ「完璧」という合格判定を出します。

コンピュータサイエンスの世界では、この「スタンプ」はJSON Schemaと呼ばれます。これは、データがどのような姿であるべきかをコンピュータプログラムに伝えるルールブックです。私たちが人工知能（AI）にコードを書かせたり情報を整理させたりする際、多くの場合、このルールブックを指示書として与えます。ここで大きな疑問は、もし私たちが紙に書かれた指示の順番をシャッフルしたとしても（実際のルールや「完璧」というスタンプ自体は変えずに）、AIは全く同じサンドイッチを作るのか？ということです。つまり、順番を変えたせいでAIが混乱し、たとえスタンプのチェックには合格したとしても、少し異なるものを提供してしまうことはあるのでしょうか？これは、もしAIが言葉の順序を変えただけで意見を変えてしまうとしたら、医療記録や財務報告のような重要な仕事において、AIが信頼できなくなってしまうことを意味するため、非常に重要な問題なのです。

この論文は、著者であるShengyao Sunが、AIの「脳」がこれらのルールブックにおける言葉の順序に対して敏感であるかどうかを調査する、探偵小説のようなものです。この研究では、異なるAIモデルに対し、同じルールブックを用いて同じパズルを解かせましたが、その際、指示の書き順を異なるものにしてテストを行いました。彼らは一度きりの検証ではなく、変化が単なる偶然ではないことを確認するために、各バージョンに対して5回ずつ試行しました。その結果、一部のAIシステムにおいては、言葉の順番が重要であったことが判明しました。プロパティ（例えば「名前」や「年齢」など）の順序を入れ替えると、回答はルールブックに従えば技術的には「正しい」ものであったとしても、AIは異なる回答を出し始めることが分かりました。

しかし、すべてのAIにおいて物語が同じであるわけではありません。著者は、この「順序への敏感さ」は、使用している特定のAIシステムによって完全に依存するということを発見しました。「Sonnet」や「Qwen」といったシステムでは、シャッフルによって回答に顕著な変化が生じ、通常よりも約5%から12%多く不一致が発生しました。しかし、「GPT」や「DeepSeek」といったシステムでは、シャッフルによる影響はほとんどありませんでした。研究では、特別な「JSONモード」（AIにフォーマットをより厳格に守らせる設定）がこの問題を解決するかどうかも検証されました。驚いたことに、解決しませんでした。厳格なモードであっても、AIは言葉の順序によって依然として混乱が生じていたのです。

最も重要な教訓は、コンピュータプログラムが指示セットを「有効」または「正しい」と判定したとしても、それはAIがフォーマットを微調整した際に同じように振る舞うことを保証するものではない、ということです。著者は、もはや「スタンプ」だけを信頼すべきではないと示唆しています。代わりに、これらの指示セットをソフトウェアコードのように扱うべきです。つまり、標準的な順序（例えば、常に材料をアルファベット順に並べるなど）に固定し、実世界で運用する前に注意深くテストする必要があります。この研究は、バリデーション（妥当性確認）だけでは不十分であることを証明しています。指示が並べ替えられたときにAIの挙動が安定しているかどうかを確認する必要があります。なぜなら、一部のAIにとって、言葉の順序は密かにレシピの一部となっているからです。

技術要約：JSON Schema 命令アーティファクトのテスト

問題提起
言語モデル（LM）ソフトウェアにおいて、JSON Schemaは、従来のソフトウェアに対する機械可読なバリデーション・コントラクト（検証契約）としての役割と、LMへのシリアライズされた命令アーティファクトとしての役割という二重の役割を担っている。JSONおよびJSON Schemaの仕様では、オブジェクトは順序に依存しないメンバーの非順序集合として定義されており、メンバーの順序はバリデーションに影響を与えないが、ソフトウェアツール（シリアライザ、コード生成器、スキーマレジストリ）は、検証契約を変更することなく、スキーマメンバーを頻繁に並べ替える。これはメンテナンス上のハザードを生み出す。すなわち、「バリデータに対して同等」なスキーマ変更が、意図せずLMの出力分布を変化させてしまう可能性がある。既存のベンチマークは、パース可能性やスキーマの妥当性に焦点を当てているが、分布の不変性（二つの意味的に同等なスキーマのシリアライゼーションが、確率的なノイズを超えて、同一の出力分布を誘発するかどうか）をテストできていない。

手法
本研究は、JSONおよびJSON Schemaのセマンティクスから派生したメタモルフィック・テスティング・フレームワークを採用している。核心となる仮説は、もし二つのスキーマのシリアライゼーションがバリデーションにおいて同等であるならば、LMの正規化された出力分布は、呼び出しごとの変動性を考慮した上で不変であるはずだ、というものである。

実験設計: 研究者は、タスク、プロンプト、システム命令、およびバリデーション・コントラクトを固定したまま、シリアライズされたスキーマを変更するというメタモルフィック関係を構築した。
変換: 以下の5つの再帰的シリアライゼーション変換をテストした：
1. Original (オリジナル): ソースとなるシリアライゼーション。
2. Properties reversed (プロパティ反転): properties オブジェクト内のエントリを反転させる。
3. Required reversed (必須項目反転): ユニークな required 配列を反転させる。
4. Keywords reversed (キーワード反転): スキーマオブジェクト（ネストされたプロパティを含む）内のすべてのメンバーを反転させる。
5. Descriptions first (記述文優先): description フィールドを最初の位置に移動させる。
分解: 200レコードの非重複パネルを用いて、(1) プロパティ順序の影響（Original vs. Properties Reversed）と、(2) 追加メンバーの順序の影響（Properties Reversed vs. Keywords Reversed、後者の場合は再帰的なプロパティ順序を固定）という二つの特定の対照を分離して調査した。
システム: SonnetおよびGPTのゲートウェイ・エイリアス、公式のDeepSeek (deepseek-v4-flash)、および公式のQwen-Plus (qwen-plus) の両方のテキスト形式およびJSONモードを含む5つのインターフェースにおける17,900件の成功レスポンスを評価した。
指標:
- Normalized Excess Disagreement (正規化された過剰不一致): 条件間の不一致を条件内の変動性と比較する、ノイズ調整済みの統計量。これは、離散的な出力分布間の平方 $L_2$ 距離を推定する。
- Practical Screen (実用的な判定基準): 実質的な有意性を判断するための、事前に指定された0.05（5%の過剰不一致）という閾値。
- Quality Metrics (品質指標): スキーマ通過率、リーフ値の正確性、およびトークンF1スコア。
推論: 信頼区間は5,000件のレコードクラスター・ブートストラップ再サンプリングによって導出され、多重比較にはHolm補正が適用された。

主な結果

分布の不安定性 (RQ1 & RQ2): バリデーションにおいて同等な並べ替えは、呼び出しごとの変動性を超えて出力分布を変化させる。
- Sonnet Gateway: プロパティ順序（0.058）および追加メンバーの順序（0.077）の両方の効果が、0.05の実用的な判定基準を超えた。
- Qwen-Plus (Text): 両方の効果（0.126および0.123）が大きく、判定基準を超えた。
- GPT Gateway & DeepSeek: 効果は検出可能であった（信頼区間に正の下限が存在する）が、0.05の判定基準を下回った（GPTは0.033/0.038、DeepSeekは0.033/0.038）。
品質への影響 (RQ3): 分布の変化は、平均的なタスク品質の普遍的な低下を意味するものではない。スキーマ通過率はすべてのシステムで高い水準（>98%）を維持した。リーフ値の正確性の変化は一般にゼロに近かったが、一つの例外（GPTの追加メンバー対照における-0.025）が見られたものの、他のシステムでは再現されなかった。
インターフェースの境界 (RQ4): Qwen-Plusにおいて、JSONモード (response_format={"type":"json_object"}) を有効にしても、スキーマのシリアライゼーション順序に対する感受性は実質的に減衰しなかった。相互作用効果は統計的に有意ではなく、順序による効果の大きさはJSONモードでも高いままであった。
異質性 (RQ5): 平均的な効果は、一様なシフトではなく、一部の「脆弱な」レコード（上位10%）によって引き起こされている。脆弱なレコードのプロファイルは、一致するQwenインターフェース間（テキスト vs. JSONモード）では安定しているが、異なるシステム間（例：Sonnet vs. GPT）では信頼性を持って転移しない。

意義と主張
本論文は、バリデーションと同等であることは、LM向けのスキーマ・アーティファクトに対する十分な回帰オラクルではないと主張している。本研究は、JSON Schemaのバリデーションという抽象化レイヤーが、生成レイヤーにおける振る舞いの互換性を保証しないことを示している。

実用的な含意: スキーマを命令アーティファクトとして扱うソフトウェアチームは、構文やタスクの正確性とは別に、分布の堅牢性をテストしなければならない。バリデータ・コントラクトを保持するリファクタリングであっても、生成コンポーネントにおいて回帰を導入する可能性がある。
貢献:
1. メタモルフィック関係: バリデーションの同等性に基づいた、LM向けのスキーマ・アーティファクトのための形式的なテスト。
2. 推定器: クラスター推論を用いた、確率性を調整した過剰不一致推定器。
3. ワークフロー: オフラインで監査可能なテストワークフロー、およびビルドパイプラインにおけるシリアライゼーションの自由度を取り除くための保守的なカノニカル化（オブジェクトのキーとユニークな required 配列をソートする）。
4. 実証的証拠: 多様なデプロイメントにおけるポジティブおよびネガティブな実証的再現を文書化し、モデルの感受性に関する普遍的な主張を否定すると同時に、デプロイメントに依存するリスクを確認した。

著者は、内部のアテンション・メカニズムを推論したり、普遍的な正確性の低下を主張したり、厳密な制約付きデコーディングを評価したりするものではないと明示している。知見は、テストされた特定のデプロイされたインターフェースおよび日付に限定されており、「バリデーションの同等性だけでは、十分な振る舞いのオラクルにはなり得ない」という証拠として提示されている。

関連論文