기술 요약: AgroVG: 농업을 위한 대규모 다중 소스 벤치마크

문제 정의

농업 AI 시스템은 선택적 제초, 질병 모니터링, 표적 수확과 같은 작업을 가능하게 하기 위해 복잡한 작물 환경에서 자연어 지시를 지시할 수 있는 능력이 필요합니다. 시각적 지시 (텍스트로 설명된 객체 국소화) 는 일반 도메인에서 발전했지만, 기존 벤치마크는 농업 이미지의 특정 과제를 다루지 못합니다. 이러한 과제는 다음과 같습니다:

1. 밀집된 반복적 인스턴스: 단일 프레임에는 종종 수십 개의 시각적으로 유사한 표적 (예: 밀 이삭, 군집 과일) 이 포함되어 있어, 쿼리당 고유한 표적이라는 가정이 무효화됩니다.
2. 작고, 가려지며, 불규칙한 표적: 해충, 질병 병변, 잎은 종종 비볼록 경계를 가지며 부분적으로 가려져 있어, 픽셀 단위 평가를 위해 바운딩 박스만으로는 부족합니다.
3. 표적 부재 표현: 현실적인 현장 지시는 이미지에 존재하지 않는 객체를 언급할 수 있으며, 이는 모델이 예측을 환각하지 않고 유보 (abstain) 하도록 요구합니다.

현재 농업 벤치마크는 인스턴스 수준의 지시 프로토콜이 부족하거나, 단일 소스 데이터셋으로 제한되거나, 국소화 정확도, 세트 완전성, 존재 인식 유보의 결합된 요구 사항을 평가하지 못합니다.

방법론

저자들은 일반화된 세트 예측 문제로 공식화된 AgroVG라는 다중 소스 벤치마크를 소개합니다. 이미지와 참조 표현이 주어지면, 모델은 하나, 여러 개, 또는 없음의 모든 일치하는 표적 인스턴스를 바운딩 박스 또는 인스턴스 마스크로 반환해야 합니다.

데이터셋 구축

• 규모 및 소스: AgroVG는 10 개의 소스 데이터셋(예: PhenoBench, CropAndWeed, GWHD, IP102, PlantSeg) 에서 파생된 10,071 개의 주석 기반 이미지 - 쿼리 쌍으로 구성됩니다.
• 표적 계열: 이 벤치마크는 작물/잡초, 과일, 밀 이삭, 해충, 식물 질병, 수관 등 여섯 가지 농업 표적 계열을 다룹니다.
• 주석 지시: 모든 쿼리는 검증된 인스턴스 주석으로 추적 가능합니다. 긍정적 쿼리는 특정 표적 세트에 연결되는 반면, 표적 부재 쿼리는 벤치마크의 계열 공간 내에서 빈 표적 세트가 있음을 검증받습니다.
• 작업:
  • T1 (바운딩 박스 지시): 여섯 가지 표적 계열 전체에서 지원됩니다. 모델은 축 정렬 바운딩 박스 세트를 예측합니다.
  • T2 (인스턴스 마스크 지시): 신뢰할 수 있는 인스턴스 수준의 픽셀 주석이 있는 세 가지 계열 (작물/잡초, 과일, 식물 질병) 에서 지원됩니다. 모델은 이진 마스크를 예측합니다.
• 쿼리 체제: 두 작업 모두 세 가지 체제를 평가합니다:
  • 단일 표적: $K=1$ 인스턴스.
  • 다중 표적: $K>1$ 인스턴스.
  • 표적 부재: $K=0$(일치하는 인스턴스가 존재하지 않음).
• 품질 관리: 구축 파이프라인에는 감사 주도 샘플링, 손상된 이미지나 정렬되지 않은 주석을 제거하기 위한 전문가 시각 검토, 데이터 누출을 방지하기 위한 분할 인식 쿼리 생성이 포함됩니다.

평가 프로토콜

평가 국소화, 세트 완전성, 유보에 걸친 실패를 진단하기 위해 작업별 지표를 사용합니다:

• T1 지표: 다중 표적 쿼리에 대해서는 IoU 임계값 0.50 및 0.75 에서 최대 카디널리티 매칭 기반의 Set-F1을 사용하고, 단일 표적 쿼리에 대해서는 Strict Accuracy를, 표적 부재 쿼리에 대해서는 Empty Accuracy를 사용합니다.
• T2 지표: 긍정적 쿼리에 대해서는 Query-Level Mask Coverage(mIoU, cIoU, Dice) 를 사용하고, 표적 부재 쿼리에 대해서는 Empty Accuracy를 사용합니다. 이 접근 방식은 참조된 영역의 합집합을 평가하는 대신 인스턴스별 마스크 매칭을 피합니다.

주요 결과

저자들은 폐쇄형 MLLM(예: GPT-4o, GPT-5.4), 오픈 소스 VLM(예: InternVL3.5, Qwen3-VL), 전문 지시 시스템 (예: OWLv2, Grounding DINO, LISA, SAM) 을 포함한 26 개 모델 구성에 대한 zero-shot 평가를 수행했습니다.

• 성능 격차: 이 벤치마크는 현재 모델의 상당한 한계를 드러냅니다.
  • 세트 완전성: T1 에서 가장 좋은 다중 표적 Set-F1 점수는 0.3540(InternVL3.5-8B) 에 불과하여, 모델이 밀집된 장면에서 모든 유효한 인스턴스를 검색하는 데 어려움을 겪고 있음을 나타냅니다.
  • 마스크 지시: IoU@0.75 에서 가장 좋은 T1 긍정적 쿼리 마스크 성공률은 0.17 미만으로 유지됩니다. 가장 좋은 All-mIoU 는 0.32 미만입니다.
  • 유보 보정: 모델은 표적 부재 쿼리에 대해 보정이 불량합니다. 일부 모델 (예: GPT-4o) 은 유보는 잘하지만 긍정적 쿼리에서 국소화가 부실한 반면, 다른 모델 (예: Florence-2) 은 긍정적 표적을 잘 감지하지만 표적이 부재할 때 예측을 환각합니다 (Empty Accuracy 0%).
• 상충 관계: 긍정적 쿼리 마스크 품질과 표적 부재 거부 사이에는 명확한 상충 관계가 있습니다. SAM 3 과 같은 모델은 높은 Empty Accuracy(93.4%) 를 달성하지만 긍정적 쿼리 마스크 품질은 약한 반면, LISA-13B 와 같은 분할 MLLM 은 더 나은 마스크를 생성하지만 부재하는 표적에서 자주 환각을 일으킵니다.
• 진단적 통찰: 성능은 표적 계열과 쿼리 유형에 따라 크게 달라집니다. 순위 기반 쿼리 (예: "가장 왼쪽", "가장 큰") 와 측면 선택 쿼리는 고유 표적 쿼리보다 훨씬 더 어렵습니다. 이는 개방형 어휘 탐지만으로는 일반화된 농업 지시에 불충분함을 시사합니다.

중요성 및 주장

이 논문은 AgroVG 를 배포 준비도 측정치가 아닌 진단용 벤치마크로 위치시킵니다. 주요 기여는 다음과 같습니다:

1. 공식화: 농업 시각적 지시를 일반화된 세트 예측 문제로 제시하여, 다중 표적 완전성과 존재 인식 유보의 필요성을 명시적으로 다룹니다.
2. 종합 벤치마크: 단일, 다중, 표적 부재 체제 하에서 바운딩 박스 및 인스턴스 마스크 지시 프로토콜을 갖춘 여섯 가지 농업 표적 계열을 아우르는 최초의 통합 벤치마크를 제공합니다.
3. 진단 가치: 평가는 현재 최첨단 모델에서 세트 완전성, 유보 보정, 세밀한 마스크 지시와 관련된 체계적인 실패를 드러냅니다. 이러한 발견은 신뢰할 수 있는 농업 지시를 위해서는 표적 존재 탐지, 카디널리티 추정, 기하학적 커버리지에 대한 공동 진전이 필요함을 강조합니다.

저자들은 AgroVG 가 정밀 농업의 안전에 중요하지만 표준 단일 객체 지시 벤치마크에서 종종 간과되는 실패 모드 (예: 부재하는 표적에 대한 환각 또는 불완전한 세트 검색) 를 식별하기 위한 표준화된 테스트베드로서 기능한다고 강조합니다. 데이터셋과 코드는 더 신뢰할 수 있고, 지시 인식적이며, 존재 인식적인 농업 AI 시스템을 개발하기 위한 향후 연구를 지원하기 위해 공개됩니다.