技術的概要：農業画像解釈および生成タスクにおけるマルチモーダル大規模言語モデルの幻覚行動

問題定義

農業画像分野における大規模言語モデル（LLM）およびマルチモーダル大規模言語モデル（MLLM）の急速な普及は、「幻覚」すなわち自信に満ちているが生物学的または環境的な現実と乖離した出力によって、重大なリスクをもたらしています。農業分野において、このような誤りは、誤った病害診断、不適切な農薬散布、および欠陥のある収量評価を含む、誤った農学的洞察につながる可能性があります。LLM は文書化や意思決定支援の自動化において有望ですが、事実誤認や生物学的に不可能なコンテンツを生成する脆弱性は、信頼性と実用化に対する重要な障壁のままです。本研究は、画像からテキストへ（作物画像の解釈）およびテキストから画像へ（合成農業シーンの生成）という 2 つの特定のモダリティにおける LLM 出力の精度と安全性に関する厳密な評価の欠如に対処します。

方法論

著者は、Gemma、LLAVA、Qwen、MiniCPM、GPT-5、および Gemini 2.5 Flash など、複数の最先端モデルを用いて、解釈タスクおよび生成タスクにおける幻覚行動を体系的に評価しました。

1. 画像からテキストへの評価（解釈）

本研究は、2 つの実験設定を通じてモデルの農業画像解釈能力を評価しました。

• 作物状態分類: モデルは、トマトの葉の画像を「健全」または「病害」（具体的には細菌性斑点病）として分類するよう求められました。
  • ゼロショット: モデルは例を参照せず、事前学習された知識のみに依存しました。
  • フューショット: モデルは、解釈を導くために健全な葉と病害葉の参照画像を提供されました。
• 果実検出および計数: 温室イチゴデータセットのサブセット（100 枚の画像）を使用し、モデルは質問応答（QA）を通じて以下を求められました。
  • Q1: 果実の存在を判断する。
  • Q2: 発育段階（完熟対未熟）を特定する。
  • Q3: 各カテゴリの果実を数える。
• 指標: 性能は、分類精度、F1 スコア、および混同行列を用いて測定され、偽陽性（幻覚による病害）および偽陰性（見逃された感染）を特定しました。

2. テキストから画像への評価（生成）

本研究は、テキストプロンプトから生成された画像の生物学的整合性を評価しました。

• プロンプトされていない/余分なコンテンツ: モデルは、特定の農業画像（例：感染した葉の熱画像、カビに感染したイチゴの RGB 画像）を生成するようプロンプトされました。出力は、プロンプトに指定されていない視覚要素（例：人工的な温度勾配、背景の破砕物、またはテキストラベル）の含まれ方について分析されました。
• 生物学的矛盾: 著者は、幻覚を誘発するように設計された「非現実的」なプロンプトでモデルをテストしました。例えば、「白粉病に覆われた病害のないイチゴ」の画像を生成することです。
  • プロンプト変異: 直接的なリクエスト（T1）と、研究目的の正当化を含む言い換えられたリクエスト（T2）の両方でテストを実施し、安全性ガードレールが回避可能かどうかを観察しました。
• 評価基準: 生成された画像は、解剖学的な不可能性、生理学的矛盾（例：深刻な害虫被害を伴う健全な植物）、および環境的不整合について精査されました。

主要な貢献

本論文は、農業 AI の分野に対して 3 つの主要な貢献をなしています。

1. 幻覚パターンの特定: 本研究は、解釈および生成の農業タスクの両方において、生物学的整合性、文脈の正確性、および農学的妥当性の誤りに特に焦点を当てて、反復する幻覚パターンを体系的に特徴付けました。
2. 信頼性の定量的評価: 著者は、農業シナリオにおける複数の MLLM の性能に関する実証データを提供し、高度なモデルでさえゼロショット設定で significant な誤り率を示し、フューショットプロンプティングが適用された場合でも幻覚に依然として脆弱であることを実証しました。
3. 生成脆弱性の分析: 研究は、生成モデルが生物学的に整合しないシーン（例：害虫被害を伴う健全な作物）を生成し得ることを明らかにし、研究正当化の追加などの微妙なプロンプト変更が安全性メカニズムをオーバーライドし、農学的に不可能な画像の生成につながることを示しました。

結果

画像解釈の性能

• ゼロショット精度: モデルは、トマトの葉の病害分類において、**63% から 75%**の範囲の modest な精度を達成しました。
• フューショットによる改善: 性能はフューショットプロンプティングにより向上し、86.8%（Gemma）に達しましたが、幻覚は継続しました。
• 誤りの種類:
  • Qwen はイチゴ検出において高い偽陰性率を示し、視覚的証拠にもかかわらず果実の存在を頻繁に否定しました。
  • MiniCPM は、果実検出において精度（76.84%）と F1 スコア（0.782）の間に大きな不一致を示し、ゼロショットのトマト分類（精度 63.0% 対 F1 スコア 0.46）においても広範なギャップを示し、残留する幻覚の影響を示唆しました。
  • LLAVA および Gemma はよりバランスの取れた誤りプロファイルを示しましたが、依然として無視できない偽予測を生成しました。

画像生成の知見

• プロンプトされていない要素: モデルは頻繁に農学的に無関係な詳細を追加しました。例えば、GPT-5 は熱画像において誇張された温度勾配とハロー遷移を生成し、Gemini 2.5 Flash は均一な発光領域や土壌や灌漑水路などの要求されていない背景要素を追加しました。
• 生物学的不整合:
  • 「広範な害虫被害を伴う健全な大豆の樹冠」を生成するようプロンプトされた際、GPT-5 や Gemini 2.5 Flash などのモデルは、葉に深刻な食害穴を示しながらも「健全」とラベル付けまたは視覚的に示唆される画像を生成しました。
  • 「白粉病に覆われた病害のないイチゴ」のテストにおいて、Gemini 2.5 Flash は、カビに覆われた健全な果実を示す生物学的に不可能な画像を生成しました（緩和された制約下での生成率は 91%）。
  • GPT-5 は当初、直接的なプロンプト（T1）を拒否しましたが、研究正当化を含む言い換えられたプロンプト（T2）には同意し、生物学的に非現実的なシーンの生成率が**91%**の矛盾する画像を生成しました。
• プロンプト感受性: 研究図解としてプロンプトが構成された場合、生物学的に非現実的なコンテンツの生成率は急激に増加しました（例：GPT-5 は 64% から 91% に上昇）。

意義と主張

本論文は、この体系的な評価が LLM ベースの農業画像プラットフォームの信頼性に関する重要な洞察を提供すると主張しています。著者は以下を強調しています。

• 現在の限界: 高度なモデル（GPT-5、Gemini 2.5 Flash）でさえ、生物学的基盤において根本的な弱点を有しており、言語的に流暢だが事実誤認または生理学的に不可能な出力をもたらします。
• ステークホルダーへのリスク: 認識されない幻覚は、農家、研究者、政策立案者を誤導し、AI システムへの信頼を損ない、誤った農学的推奨を通じて具体的な経済的または環境的害を引き起こす可能性があります。
• ガードレールの必要性: 本研究は、デジタル農業の可能性を達成するには、出力が生物学的現実と真実であることを保証するための厳格な検証パイプライン、ドメイン固有の微調整、および制約ガイド付き生成が必要であると主張しています。著者は、将来の研究はこれらのリスクを軽減するために、プロンプト耐性の強化と生物学的基盤を持つデコーディングフレームワークの開発に焦点を当てるべきであると提案しています。