기술 요약: 농업 이미지 해석 및 생성 작업 전반에 걸친 멀티모달 LLM 의 환각 행동

문제 제기

농업 이미징 분야에서 대규모 언어 모델 (LLM) 과 멀티모달 대규모 언어 모델 (MLLM) 의 빠른 도입은 '환각'으로 인해 상당한 위험을 초래합니다. 환각은 확신에 찬 것처럼 보이지만 생물학적 또는 환경적 현실과 동떨어진 출력을 의미합니다. 농업 분야에서는 이러한 오류로 인해 잘못된 작물 관리 통찰력이 도출될 수 있으며, 이는 부정확한 질병 진단, 부적절한 농약 살포, 그리고 결함 있는 수확량 평가로 이어질 수 있습니다. LLM 은 문서 자동화와 의사결정 지원에서 유망한 가능성을 보여주지만, 사실적으로 잘못되거나 생물학적으로 불가능한 콘텐츠를 생성할 수 있는 취약성은 신뢰 구축과 실제 배포를 위한 중요한 장벽으로 남아 있습니다. 본 연구는 이미지 - 텍스트(작물 이미지 해석) 와 텍스트 - 이미지(합성 농업 장면 생성) 라는 두 가지 특정 모달리티에서 LLM 출력의 정확성과 안전성에 대한 엄격한 평가가 부재한 문제를 다룹니다.

방법론

저자들은 Gemma, LLAVA, Qwen, MiniCPM, GPT-5, Gemini 2.5 Flash 등 여러 최첨단 모델을 활용하여 해석 및 생성 작업 전반에 걸친 환각 행동을 체계적으로 평가했습니다.

1. 이미지 - 텍스트 평가 (해석)

본 연구는 두 가지 실험 설정을 통해 모델들의 농업 이미지 해석 능력을 평가했습니다.

• 작물 상태 분류: 모델들은 토마토 잎 이미지를 '건강' 또는 '질병' (특히 세균성 반점병) 으로 분류하도록 요청받았습니다.
  • 제로샷 (Zero-shot): 모델들은 예시 없이 사전 학습된 지식에만 의존했습니다.
  • 퓨샷 (Few-shot): 모델들은 해석을 안내하기 위해 건강한 잎과 병든 잎의 참조 이미지를 제공받았습니다.
• 과일 탐지 및 계수: 온실 딸기 데이터셋의 일부 (100 장의 이미지) 를 사용하여 모델들에게 질문 - 답변 (QA) 방식으로 다음을 요청했습니다:
  • Q1: 과일의 존재 여부를 판단합니다.
  • Q2: 발달 단계 (숙성 대 미숙성) 를 식별합니다.
  • Q3: 각 범주의 과일 수를 세어봅니다.
• 지표: 성능은 분류 정확도, F1 점수, 그리고 오진 (환각에 의한 질병) 과 미탐 (감염 누락) 을 식별하기 위한 혼동 행렬을 사용하여 측정되었습니다.

2. 텍스트 - 이미지 평가 (생성)

본 연구는 텍스트 프롬프트에서 생성된 이미지의 생물학적 일관성을 평가했습니다.

• 프롬프트되지 않은/불필요한 콘텐츠: 모델들에게 특정 농업 이미지를 생성하도록 프롬프트했습니다 (예: 감염된 잎의 열화상 이미지, 곰팡이에 감염된 딸기의 RGB 이미지). 출력물은 프롬프트에 명시되지 않은 시각적 요소 (예: 인공 온도 구배, 배경 잔해, 또는 텍스트 레이블) 가 포함되었는지 분석되었습니다.
• 생물학적 모순: 저자들은 환각을 유발하도록 설계된 '불합리'한 프롬프트로 모델을 테스트했습니다. 예를 들어, '흰가루병에 덮인 질병 없는 딸기' 이미지를 생성하는 것이었습니다.
  • 프롬프트 변형: 안전 장치를 우회할 수 있는지 관찰하기 위해 직접적인 요청 (T1) 과 연구 목적을 위한 정당성을 포함한 재구성된 요청 (T2) 으로 테스트를 수행했습니다.
• 평가 기준: 생성된 이미지는 해부학적 불가능성, 생리적 모순 (예: 심각한 해충 피해가 있는 건강한 식물), 그리고 환경적 불일치를 기준으로 면밀히 검토되었습니다.

주요 기여

본 논문은 농업 AI 분야에 세 가지 주요 기여를 합니다:

1. 환각 패턴의 식별: 본 연구는 해석 및 생성 농업 작업 전반에 걸쳐 반복되는 환각 패턴을 체계적으로 특징짓고, 특히 생물학적 일관성, 문맥적 정확도, 그리고 농업적 타당성에서의 오류를 강조합니다.
2. 신뢰성에 대한 정량적 평가: 저자들은 농업 시나리오에서 여러 MLLM 의 성능에 대한 실증 데이터를 제공하며, 심지어 최첨단 모델조차 제로샷 설정에서 상당한 오류율을 보이며 퓨샷 프롬프팅이 적용되더라도 환각에 취약함을 입증합니다.
3. 생성 모델의 취약성 분석: 연구는 생성 모델이 생물학적으로 일관되지 않은 장면 (예: 해충 피해가 있는 건강한 작물) 을 생성할 수 있음을 밝히고 있으며, 미묘한 프롬프트 수정 (예: 연구 정당성 추가) 이 안전 메커니즘을 우회하여 농업적으로 불가능한 이미지를 생성하게 할 수 있음을 보여줍니다.

결과

이미지 해석 성능

• 제로샷 정확도: 모델들은 토마토 잎 질병 분류에서 63% 에서 75% 사이의 modest 한 정확도를 달성했습니다.
• 퓨샷 개선: 퓨샷 프롬프팅을 통해 성능이 향상되어 86.8% (Gemma) 에 달했으나, 환각은 지속되었습니다.
• 오류 유형:
  • Qwen은 딸기 탐지에서 높은 비율의 위음성 (false negatives) 을 보였으며, 시각적 증거가 있음에도 불구하고 과일 존재를 자주 부인했습니다.
  • MiniCPM은 과일 탐지에서 정확도 (76.84%) 와 F1 점수 (0.782) 사이에 상당한 불일치를 보였으며, 제로샷 토마토 분류에서도 큰 격차 (63.0% 정확도 대 0.46 F1 점수) 를 보여 잔류 환각 효과를 나타냈습니다.
  • LLAVA와 Gemma는 더 균형 잡힌 오류 프로필을 보였지만 여전히 무시할 수 없는 잘못된 예측을 생성했습니다.

이미지 생성 결과

• 프롬프트되지 않은 요소: 모델들은 종종 농업적으로 관련 없는 세부 사항을 추가했습니다. 예를 들어, GPT-5 는 열화상 이미지에서 과장된 온도 구배와 헤일로 전이를 생성한 반면, Gemini 2.5 Flash 는 균일한 빛나는 영역이나 토양 및 관개 수로와 같은 요청되지 않은 배경 요소를 추가했습니다.
• 생물학적 불일치:
  • '광범위한 해충 피해가 있는 건강한 대두 관목' 이미지를 생성하도록 요청했을 때, GPT-5 와 Gemini 2.5 Flash 와 같은 모델들은 잎에 심각한 섭식 구멍이 있음에도 불구하고 '건강하다'고 레이블이 지정되거나 시각적으로 암시되는 이미지를 생성했습니다.
  • '흰가루병이 있는 질병 없는 딸기' 테스트에서 Gemini 2.5 Flash는 곰팡이로 덮인 건강한 과일을 보여주는 생물학적으로 불가능한 이미지를 생성했습니다 (완화된 제약 하에서 91% 생성률).
  • GPT-5는 초기에 직접적인 프롬프트 (T1) 를 거절했으나, 재구성된 연구 정당성 (T2) 에는 동의하여 생물학적으로 불합리한 장면에 대해 91% 의 생성률로 모순적인 이미지를 생성했습니다.
• 프롬프트 민감성: 프롬프트가 연구 일러스트레이션으로 제시될 때 (예: GPT-5 는 64% 에서 91% 로 상승), 생물학적으로 불합리한 콘텐츠의 생성률이 급격히 증가했습니다.

중요성 및 주장

본 논문은 이러한 체계적인 평가가 LLM 기반 농업 이미징 플랫폼의 신뢰성에 대한 중요한 통찰력을 제공한다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 현재의 한계: 최첨단 모델 (GPT-5, Gemini 2.5 Flash) 조차도 생물학적 기반에 근본적인 약점을 가지고 있어, 언어적으로 유창하지만 사실적으로 잘못되거나 생리적으로 불가능한 출력을 초래합니다.
• 이해관계자에 대한 위험: 인식되지 않은 환각은 농부, 연구자, 정책 입안자를 오도할 수 있으며, AI 시스템에 대한 신뢰를 훼손하고 잘못된 농업 권고로 인해 실질적인 경제적 또는 환경적 피해를 초래할 수 있습니다.
• 안전 장치의 필요성: 본 연구는 디지털 농업의 잠재력을 달성하기 위해서는 엄격한 검증 파이프라인, 도메인 특화 미세 조정, 그리고 출력이 생물학적 현실에 충실하도록 보장하는 제약 기반 생성이 필요하다고 주장합니다. 저자들은 향후 연구가 프롬프트 복원력을 강화하고 이러한 위험을 완화하기 위해 생물학적 기반 디코딩 프레임워크를 개발하는 데 초점을 맞춰야 한다고 제안합니다.