💻 computer science

Open-KNEAD: Knowledge-grounded Nutrition Estimation via Agentic Decomposition

Open-KNEADは、選択的かつ栄養素を意識した検索を活用することで、監査可能な項目ごとの栄養記録を生成し、特に非米国圏の料理における分量推定を大幅に改善する、学習不要でローカル展開可能なエージェント型フレームワークであり、ユーザーのプライバシーを維持しながら、従来の検索手法や最先端のクローズドモデルによる直接推論の両方を凌駕します。

原著者： Bruce Coburn, Jingbo Yue, Jinge Ma, Siddeshwar Raghavan, Gautham Vinod, Fengqing Zhu

公開日 2026-07-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bruce Coburn, Jingbo Yue, Jinge Ma, Siddeshwar Raghavan, Gautham Vinod, Fengqing Zhu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

お弁当の中身を、写真を撮るだけで正確に把握することを想像してみてください。しばらくの間、科学者たちは、そのための最善の方法は、超高性能なロボット（マルチモーダル大規模言語モデル、いわゆるMLLM）に写真を見せ、膨大な食品情報のデジタルライブラリの中から、あらゆる食材に完璧に一致するものを必死に探し出すことだと考えていました。それは、まるで探偵が推測をする前に、あらゆるパン屑に対してライブラリと照合を行うために図書館へ駆け込むようなものでした。

しかし、ここでひねりが加わります。この論文の著者であるOpen-KNEADは、今日の超高性能なロボットにとって、総カロリー数を正しく算出するために、その必死のライブラリ検索は実はもはや必要ないことを発見しました。ロボットは、写真をただ見て、総エネルギー、タンパク質、脂質を、ライブラリを持つ探偵とほぼ同等の精度で推測できるのです。

では、もしライブラリ検索が「合計値」を向上させないのであれば、なぜわざわざ行う必要があるのでしょうか？本論文は、単純な推測では提供できない、非常に具体的な2つの理由から、依然としてライブラリが必要であると主張しています。

「レシート」： 臨床家（管理栄養士など）は、単なる魔法のような数字だけを求めているのではありません。彼らは、監査可能な詳細な項目ごとのリストを必要としています。レシートのようにチェックできる特定の食品コードに関連付けられた、「目玉焼き」や「トースト」がそれぞれ何グラム使われているのかを正確に知る必要があるのです。
「見えないもの」： 写真では、料理の中に隠れた調理油、バター、砂糖を見ることはできません。単純な推測では、この「見えないエネルギー」を見落とし、過小評価につながることがよくあります。

解決策：記憶を持つスマートな探偵
著者らは、Open-KNEADと呼ばれる新しいシステムを構築しました。これは、単に推測するだけでなく、食事をパーツに分解し、本当に混乱した時だけライブラリを確認し、そして「見えないもの」に対する特別なテクニックを持つ探偵のようなものです。

その仕組みは、以下のステップで行われます：

ステップ1：分解。 システムは写真を見て、目に見えるすべての項目（例：「卵」「アボコード」「トースト」）をリストアップします。
ステップ2：「レシピ・プライア（調理の事前知識）」（魔法のトリック）。 これがこの論文の最も巧妙な動きです。システムは自らに問いかけます。「もし鶏の唐揚げとご飯が見えるなら、通常どのような『見えない』材料が一緒に行われるだろうか？」そして、隠れた調理油やバターをリストに加えます。これにより、従来のメソッドが（中国料理のような）非米国系の料理において、フライパンに使われた油を見逃し、カロリーを過小評価していたという大きな問題を解決しました。
ステップ3：選択的なライブラリ確認。 システムはすべての項目についてライブラリを確認するわけではありません。一致する候補が互いに大きく異なる場合にのみ確認を行います。もし「鶏の唐揚げ」が、カロリーが全く同じ2種類である可能性があるなら、時間を節約するために確認をスキップします。もし選択肢が大きく異なる場合は、ロボットに正しいものを選ばせます。これにより、システムは高速かつ効率的に動作します。
ステップ4：プライバシーの約束。 決定的なことに、これらすべてはあなた自身のコンピュータ上で（ローカルで）動作します。ランチの写真はクラウドサーバーに送信されません。オープンソースのモデルを使用しており、データのプライバシーを保持します。

数字が示すこと
論文では、アメリカ、オーストラリア、中国の3種類の食事に対してテストを行いました。

ポーションサイズ（分量）： この新システムは、食べ物が「どのくらい」あるかを推測することにおいて、はるかに優れていました。実際の管理栄養士によってチェックされたオーストラリアのデータセットにおいて、ローカルのOpen-KNEADシステムは、総量を直接推測する最新のクローズドソースモデル（GPTやGeminiの最新バージョンなど）よりも、ポーションサイズの推測において30%から53%高い精度を示しました。
エネルギー推定： アメリカと中国の食事については、システムは非常に正確でした。しかし、オーストラリアの食事については、「パーツの総和」による手法は、データベースが主に米国食品に基づいているため、直接的な推測よりもわずかに精度が低くなりました。著者らは、システムに「ルーティング（経路選択）」を行わせることでこれを修正しました。もし食品が米国スタイルであれば詳細な内訳を使用し、そうでなければ総エネルギーについては直接的な推測を信頼するという仕組みです。
「レシート」： 単純な推測とは異なり、Open-KNEADは完全で監査可能な記録を作成します。例えば、「これは目玉ヤツ92g、コード31105010、カロリーは132kcalである」といった具合に伝えます。

この論文が否定していること
著者らは、何が機能せず、何が必要でないかを慎重に述べています：

もはや必死の検索は不要： 彼らは、総カロリーを得るためにライブラリ内のあらゆる項目を検索するという古い手法は、現在は時代遅れであることを明確に示しました。直接的な推測でも、結果は同等です。
追加のカメラは不要： 体積を測定するために複数のカメラ角度や深度センサーを使用するテストも行いましたが、効果はないことがわかりました。システムは、写真1枚で最もよく機能します。
学習（トレーニング）は不要： このシステムは、新しいデータに基づいて「教え込まれる」必要はありません。凍結された（学習済みの）モデルを使用して、そのままの状態で動作します。

結論
Open-KNEADは、あらゆる問題を完璧に解決する魔法の杖ではありません。特定の料理においてはデータベースが完璧ではないことを認めており、また、その料理に通常含まれるものに基づいて隠れた材料を推測する「レシピ・プライア」に依存しています。しかし、それは「最高の両取り」ができることを証明しました。つまり、プライベートでローカルなシステムでありながら、詳細で監査可能な食事のレシートを提供し、同時に、単純な写真の推測が見落としてしまう隠れたカロリーを捉えることができるのです。これは、ランチの写真をインターネットに送ることなく、よりスマートで透明性の高い方法で食事をカウントする方法なのです。

技術要約: Open-KNEAD

問題提起

マルチモーダル大規模言語モデル（MLLM）は、食事画像からの食事評価への活用が進んでいる。歴史的に、栄養データベースから特定の食品エントリを検索して推定値を精緻化する「検索拡張型グラウンディング（retrieval-augmented grounding）」は、精度を向上させることが示されてきた。しかし著者らは、現代の2026年時点のMLLMにおいては、直接推定（画像を単一のモデルコールで処理し、分解や検索を行わずに総マクロ栄養素へとマッピングする手法）が、総エネルギーおよびマクロ栄養素の精度に関して、フルリトリーバル・パイプラインの性能に匹と共に、あるいはそれを上回る結果となっていることを観察している。

それにもかかわらず、直接推定には臨床導入に不可欠な2つの重要な機能が欠けている：

説明可能性（Explainability）: 単一の不透明な数値を提供するだけであり、項目化された監査可能な記録を提供しない。
プライバシー（Privacy）: 臨床現場での展開では、機密性の高い患者の画像を商用APIに送信することを避けるため、ローカルでの推論が求められることが多い。

本研究が取り組む核心的な課題は、厳格な制約（最小限のユーザー負担：注釈のない単一画像、ローカル実行、ゼロ学習：凍結モデル）の下で、いかにして直接推定による精度の向上を犠らげることなく、グラウンディング（項目化された記録、追跡可能性、および目に見えない成分への対処能力）の利点を維持するかである。

手法: Open-KNEAD

Open-KNEADは、オープンウェイトのMLLMを用いたローカル展開向けに設計された、学習不要の知識グラウンディング型エージェント・フレームワークである。これは、推定される特定の栄養指標に基づいて出力をルーティングする、デュアルパス・アーキテクチャを介して動作する。

1. 知識ベース

本システムは、**FNDDS（Food and Nutrient Database for Dietary Studies）**から派生した、約5,400のエントリを含む凍結された知識ベースに対して項目をグラウンディングする。各エントリには以下が含まれる：

食品コードおよび記述。
100gあたりの栄養素ベクトル（エネルギー、タンパク質、脂質、炭水化物）。
USDAの食品カテゴリ（WWEIA）と、事前計算された成分ごとの分散統計量（ $\sigma_g$ ）。これにより、エージェントは生の大きさではなく、カテゴリ内の栄養学的曖昧さに基づいて意思決定を制御できる。
デュアルインデックス：疎なレキシカルインデックス（BM25）と、高密度なセマンティックインデックス（BGE-M3などのオープンウェイト埋め込みを使用）。

2. パスA: 直接推定（Direct Estimate）

単一のMLLMコールが食事画像を処理し、総エネルギー、マクロ栄養素、およびポーションサイズ（分量）の全体的な推定値を出力する。このパスはベースラインとして機能し、知識ベースがバイアスを導入する可能性のある料理（例：非米国系料理）における主要なエネルギー推定値を提供する。

3. パスB: グラウンデッド・エージェンティック分解（Grounded Agentic Decomposition）

このパスは、項目化された監査可能な記録およびポーション推定を生成する役割を担う。以下の4つのステップで進行する：

分解（Decomposition）: モデルは目に見える食品アイテムを特定し、その質量（グラム）を推定する。
レシピ・プライア（Recipe-Prior / 見えない成分）: テキストのみのコールにより、認識された料理に典型的な「見えない」調理添加成分（例：油、バター、ソース）を推論する。このステップは、隠れたエネルギー密度の高い成分を含む可能性が高い食事に対してのみ作動するバイナリスイッチ（ $\Phi$ ）によって制御され、果物などのアイテムに対する過大評価を防ぐ。
選択的検索（Selective Retrieval）: 各アイテムはレキシカルおよび高密度インデックスの両方にクエリを投げる。候補は相互ランク融合（RRF）を用いて統合される。極めて重要な点として、システムは候補に対して検索重み付き分散正規化分散（ $V_i$ $V_{i}$ ）を計算する。
- $V_i$ が閾値（ $\tau$ ）を下回る場合、候補は栄養学的に互換性があるとみなされ、システムは追加のモデルコールなしに加重平均を採用する。
- $V_i \ge \tau$ の場合、MLLMが呼び出され、設定された毎回の食事予算（ $B=5$ ）の範囲内で最適なFNDDSコードを選択する。
計算（Computation）: 栄養素は、推定された質量によって100gあたりの栄養素ベクトルをスケーリングすることで算出される。

4. ルーティング戦略

最終的な出力は、以下のルーティングによって組み立てられる：

ポーションおよび監査可能記録: 常にパスB（分解）から取得される。
エネルギーおよびマクロ栄養素: 料理の種類に基づいてルーティングされる。米国中心のデータセット（Nutrition5k）および、レシピ・プライアによって隠れたエネルギーを回収できるOmniFood（中国料理）の場合、パスBのグラウンデッド合計値が使用される。米国中心の密度バイアスが分解合計値を膨張させるACETADA（オーストラリア）のようなオフディストリビューションのデータセットでは、分散を最小化するためにパスAの直接推定へとフォールバックする。

主な貢献

Open-KNEADフレームワーク: 学習不要かつローカル展開が可能な、食事の栄養推定のための初の知識グラウンディング型エージェント・フレームワーク。複数のバックボーンおよびデータセットにおいて、直接プロンプティングよりもポーション推定を改善する。
エージェント対応知識ベース: エージェンティックな栄養推定のために特別にパッケージ化された、疎/密なデュアル検索埋め込みおよび成分ごとの栄養分散統計を付加したFNDDSの公開。
レシピ・プライア（Recipe-Prior）: 正解のレシピを必要とせずに、隠れた調理添加エネルギー（例：中国料理における油）を回収する、リーケージ（情報の漏洩）のない推論時手法。

結果

本フレームワークは、3つのデータセット（米国、オーストラリア、中国）および5つのオープンウェイトMLLMバックボーン（GemmaおよびQwenファミリー）にわたって評価され、直接プロンプティング、自己整合性（self-consistency）、および先行する検索ベースの手法（DietAI24）と比較された。

ポーション精度: グラウンデッド・エージェントは、15のバックボーン-データセット設定のうち12において、直接推定よりも優れたポーション推定を実現した。専門家による検証済みのACETADAデータセットにおいて、ローカルのオープン・エージェント（Gemma-31B）は、2つの最先端のクローズドモデル（gpt-5.5およびGemini）の直接ポーション推定を、それぞれ約**30%および53%**上回り、かつすべてのデータをローカルに保持した。
エネルギー精度: Open-KNEADは、米国および中国のデータセットにおいて、先行するグラウンディング手法および直接推定を上回った。オーストラリアのデータセットでは、ルーティング戦略が直接推定へのフォールバックを行うことで、分解合計によるバイアスを効果的に軽減した。
アイテムレベルのグラウンディング: グラウンデッド・エージェントは、アングラウンデッドな構造化分解よりも、15の設定中12において低い項目レベルのポーション誤差を達成した。決定的なことに、直接推定では不可能な（アイテム $\to$ FNDDSコード $\to$ 栄養素）という監査可能な記録を生成した。
効率性: 選択的ゲーティング・メカニズムにより、MLLMのコール数が大幅に削減された。システムは栄養学的な曖昧性が高い場合にのみコード選択のためにモデルを呼び出し、「常に選択する」ベースラインの3.3回に対し、1食あたり平均2.8回のコールとなった。

意義と主張

本論文は、現代のMLLMが総エネルギーの精度に関しては検索を不要にした一方で、グラウンディングは臨床的有用性のために不可欠であることを主張している。Open-KNEADは、以下を実現できることを示している：

説明可能性: 栄養士のための追跡可能な項目別記録の提供。
プライバシー: オープンウェイトモデルを用いて、完全にローカルハードウェア上で動作。
精度: 単一画像のシンプルさとスピードを損なうことなく、ポーション推定を改善し、隠れたエネルギー成分を回収する。

著者らは、本研究を「意図的に最小限の」固有能力のテストと位置づけ、より重厚な知覚ツールや学習済みエスティメータの使用は将来の研究に取っておいている。また、米国中心の知識ベースへの依存（ルーティングにより緩和）、レシピ・プライアのための料理レベルのゲーティングの必要性、および単一画像からの幾何学的手がかりを利用できないことなどの限界についても認めている。