Multi-label Instance-level Generalised Visual Grounding in Agriculture

이 논문은 정밀 농업 분야에서 언어로 표현된 작물 및 잡초 인스턴스를 국소화하는 새로운 벤치마크 데이터셋인 gRef-CW 와 이를 해결하기 위한 Weed-VG 프레임워크를 제안하여, 기존 시각적 grounding 모델의 한계를 극복하고 농업용 다중 레이블 인스턴스 수준의 일반화된 시각적 grounding 을 가능하게 합니다.

핵심

1. 문제: "눈이 가려진 농부"의 고민

전통적인 AI 는 농장에서 "작물"이나 "잡초"라고 미리 정해진 이름만 알 수 있었습니다. 하지만 실제 농장은 훨씬 복잡합니다.

• 비유: 농부에게 "저기 있는 작은 잡초를 뽑아줘"라고 말하면, AI 는 "작은 잡초가 어디 있어?"라고 당황합니다.
• 왜? 농장에는 작물과 잡초가 섞여 있고, 크기도 제각각이며 (씨앗만 한 것도 있고, 큰 것도 있음), 심지어 "잡초가 아예 없는 경우"도 있습니다. 기존 AI 는 이런 복잡한 상황 (특히 작물이 없는 경우를 '없음'으로 판단하는 것) 을 잘 처리하지 못했습니다.

2. 해결책 1: 새로운 지도 만들기 (gRef-CW 데이터셋)

연구진은 AI 를 훈련시키기 위해 **새로운 지도 (데이터셋)**를 만들었습니다.

• 비유: 기존 지도에는 '서울'이나 '부산' 같은 큰 도시만 표시되어 있었는데, 이번에는 모든 골목길, 작은 가게, 심지어 '아무것도 없는 빈터'까지 상세하게 표시한 지도를 만들었습니다.
• 특징:
  • 8,000 장 이상의 고화질 농장 사진: 실제 농장처럼 작물과 잡초가 뒤섞인 모습.
  • 82,000 개의 설명: "왼쪽 아래에 있는 작은 옥수수", "위쪽에 잡초가 없음" 같은 다양한 문장.
  • 중요한 점: "이곳에 잡초가 없다"는 문장도 포함시켰습니다. AI 가 "아, 여기는 비어있구나"라고 배우게 하기 위함입니다.

3. 해결책 2: 똑똑한 AI 비서 개발 (Weed-VG 프레임워크)

이제 이 지도를 바탕으로 AI 를 훈련시켰습니다. 기존 AI 는 "무조건 무언가를 찾아야 한다"는 강박관념이 있어서, 잡초가 없는데도 억지로 잡초를 찾아내곤 했습니다. 연구진은 이를 해결하기 위해 두 단계로 생각하게 하는 AI를 만들었습니다.

1 단계: "존재 확인" (HRS - 계층적 관련성 점수)

• 비유: 비서가 "작은 잡초를 찾아줘"라는 지시를 받으면, 먼저 **"이 사진에 잡초가 정말 있을까?"**를 먼저 확인합니다.
• 작동 원리:
  • 단계 0 (존재 여부): "아, 잡초가 없구나"라고 판단하면 즉시 "찾을 수 없습니다"라고 답합니다. 억지로 잡초를 찾아내지 않습니다.
  • 단계 1 (정확한 위치): "잡초가 있구나"라고 판단되면, 이제야 "어디에 있는가?"를 찾아냅니다.
  • 효과: 잡초가 없는 곳에서도 엉뚱한 작물을 잡초로 오인하는 실수를 크게 줄였습니다.

2 단계: "크기와 거리 고려" (InterpIoU - 보간 회귀)

• 비유: 농장에는 씨앗만 한 아주 작은 잡초도 있고, 커다란 잡초도 있습니다. 기존 AI 는 작은 잡초를 찾다가 "너무 작아서 못 찾겠다"고 포기하거나, 위치를 빗나가는 경우가 많았습니다.
• 작동 원리: AI 가 위치를 추정할 때, "예상 위치"와 "실제 위치" 사이를 가상의 중간 지점으로 부드럽게 이어주며 학습하게 했습니다.
• 효과: 아주 작은 씨앗 같은 잡초도 정확하게 찾아낼 수 있게 되었습니다.

4. 결과: 농부의 꿈이 현실로

이 새로운 AI(Weed-VG) 를 테스트한 결과, 기존 AI 들이 처참하게 실패했던 부분에서 놀라운 성과를 보였습니다.

• 기존 AI: "잡초가 없다"고 말하면, 엉뚱한 작물을 잡초로 표시하거나 (약 3~7% 만 정답), 작은 잡초는 아예 못 찾았습니다.
• 새로운 AI: "잡초가 없다"고 말하면 78% 이상 정확하게 "없다"고 답했습니다. 또한, 아주 작은 잡초도 50% 이상의 확률로 찾아냈습니다.

5. 결론: 왜 이것이 중요한가?

이 연구는 단순히 "잡초를 찾는 기술"을 넘어, AI 가 인간의 언어를 더 깊이 이해하고, '없음'을 인식할 수 있게 만든 중요한 발걸음입니다.

• 미래의 농장: 농부에게 "오른쪽 구석의 작은 잡초만 제거해"라고 말하면, AI 가 정확히 그 잡초만 골라내서 제거해 줄 것입니다.
• 핵심 메시지: AI 는 무조건 무언가를 찾아내는 것이 아니라, "무엇이 있는지, 무엇이 없는지"를 논리적으로 판단할 때 비로소 실생활에서 유용하게 쓰일 수 있다는 것을 증명했습니다.

한 줄 요약:

"이 논문은 농장에서 작물과 잡초를 구별하는 AI 에게 **'잡초가 없으면 없다고 말하라'**는 지혜와 **'아주 작은 잡초도 놓치지 말라'**는 기술을 가르쳐, 정밀 농업의 새로운 시대를 열었습니다."

기술 요약

1. 문제 정의 (Problem Definition)

정밀 농업 (Precision Agriculture) 에서 작물과 잡초를 식별하고 개별 인스턴스를 구분하는 것은 핵심 과제입니다. 그러나 기존의 시각 - 언어 모델 (VLM) 은 다음과 같은 한계로 인해 농업 환경에서 시각적 그라운딩 (Visual Grounding, VG) 작업에 적용되지 못했습니다.

• 데이터 부재: 농업 이미지 (잡초와 작물의 혼재, 다양한 크기, 존재하지 않는 대상 등) 를 평가할 수 있는 적절한 벤치마크 데이터셋이 없었습니다.
• 복잡한 환경:
  • 시각적 유사성: 작물과 잡초는 색상, 모양, 질감이 매우 유사하여 객체 수준의 특징만으로는 구분이 어렵습니다.
  • 크기 변이 (Scale Variation): 작은 묘목부터 큰 성체까지 픽셀 크기가 극단적으로 다양합니다.
  • 부재 (Absence): 질의 (Query) 에 언급된 대상이 이미지에 존재하지 않는 경우가 빈번합니다.
• 기존 모델의 실패: 기존 VG 모델 (예: GroundingDINO) 은 농업 이미지에서 잡초 식별 시 무작위 수준에 가까운 성능을 보이거나, 작은 객체를 놓치는 등 도메인 격차 (Domain Gap) 가 큽니다.

2. 주요 기여 (Key Contributions)

이 논문은 농업 분야의 일반화 시각적 그라운딩 (gVG) 을 해결하기 위해 다음과 같은 세 가지 주요 기여를 제시합니다.

A. gRef-CW 데이터셋 개발

• 최초의 농업용 gVG 데이터셋: 8,034 개의 고해상도 필드 이미지와 82,000 개 이상의 주석을 포함합니다.
• 다양한 주석: 8 가지 작물 종류와 1 가지 잡초 클래스에 대한 인스턴스 수준 및 이미지 수준의 바운딩 박스, 분할 마스크, 텍스트 주석을 제공합니다.
• 부정적 표현 (Negative Expressions) 포함: 대상이 존재하지 않는 경우를 평가하기 위해 '이미지 수준'과 '인스턴스 수준'의 부정적 질의 (예: "이 이미지에는 작물이 없음") 를 포함했습니다.
• 통계적 특징: 84.7% 의 인스턴스가 '/tiny'또는 'small'크기이며, 장면 밀도가 매우 높은 (10 개 이상 인스턴스) 복잡한 환경을 포함합니다.

B. Weed-VG 프레임워크 제안

기존 그라운딩 모델을 농업 환경에 맞게 개선한 모듈식 프레임워크입니다.

• 계층적 관련성 점수 매기기 (Hierarchical Relevance Scoring, HRS):
  • Level 0 (존재 감지): 질의가 이미지 내 어떤 객체를 지칭하는지 먼저 판단 (Global Existence Detection).
  • Level 1 (인스턴스 순위): 존재가 확인된 후, 해당 객체의 구체적인 위치를 순위 매김 (Instance Relevance).
  • 계층적 제약 (Hierarchical Constraint): 객체가 존재하지 않는다면 인스턴스 위치를 예측할 수 없도록 논리적 일관성을 강제합니다.
• IoU 기반 보간 회귀 (InterpIoU): 극단적인 크기 변이로 인한 회귀 불안정성을 해결하기 위해, 예측 박스와 정답 박스 사이의 보간 박스를 생성하여 IoU 손실을 계산하는 기법을 도입했습니다.
• 거리 및 크기 인식 매칭 (Distance and Size Aware Matching): 바운딩 박스의 중심 거리와 상대적 크기 차이를 고려한 매칭 비용 함수를 설계하여 작은 객체의 위치 정확도를 높였습니다.

C. 평가 및 벤치마크

• gRef-CW 에서 기존 SOTA 모델 (MDETR, GroundingDINO, SAM3 등) 을 평가하여 농업 환경에서의 심각한 성능 저하를 입증했습니다.
• 제안된 Weed-VG 가 기존 모델 대비 모든 지표에서 우월한 성능을 보임을 실험을 통해 검증했습니다.

3. 방법론 (Methodology)

Weed-VG 는 다음과 같은 모듈러 아키텍처를 따릅니다.

1. 프로포절 생성 (Proposal Generation): 사전 학습된 GroundingDINO 를 사용하여 이미지와 일반 텍스트 (예: "식물") 를 입력받아 초기 후보 영역 (Proposals) 을 생성합니다.
2. 계층적 관련성 점수 매기기 (HRS):
   • 텍스트와 시각적 특징을 공유 임베딩 공간에 투영합니다.
   • 단어 수준 (Word-level) 및 문장 수준 (Sentence-level) 유사도를 학습 가능한 가중치로 결합하여 참조 점수 (Referring Score) 를 계산합니다.
   • 제약 조건: Level 0 의 존재 감지 결과가 Level 1 의 인스턴스 순위 결정에 하한선 (Lower Bound) 으로 작용하도록 손실 함수를 설계합니다 ($L_{constrained} = \max(L_{lvl1}, L_{lvl0})$).
3. IoU-Driven Interpolation (InterpIoU):
   • 예측 박스 ($B_{pred}$) 와 정답 박스 ($B_{gt}$) 사이에 보간 박스 ($B_{int}$) 를 생성합니다.
   • 손실 함수를 $L_{IoU}(B_{pred}, B_{gt}) + L_{IoU}(B_{int}, B_{gt})$로 정의하여, 예측이 정답과 멀리 떨어져 있을 때도 부드러운 그라디언트를 제공하여 수렴을 돕습니다.
4. 손실 함수:
   • 전체 손실은 계층적 다중 레이블 제약 손실 ($L_{HMCE}$) 과 InterpIoU 손실 ($L_{InterpIoU}$) 의 합입니다.
   • 이미지 유형 (혼합, 단일, 빈 이미지) 에 따라 가중치를 동적으로 조정합니다.

4. 실험 결과 (Results)

gRef-CW 데이터셋의 테스트 세트에서 수행된 실험 결과는 다음과 같습니다.

• 주요 성능 지표 (Top-1 Accuracy & mIoU):

  • Weed-VG: Top-1 정확도 62.42%, mIoU 57.25%, R@0.5 55.44% 달성.
  • 기존 모델 비교:
    • GroundingDINO-L: Top-1 20.38%, mIoU 23.68%
    • SAM3: Top-1 34.88%, mIoU 32.76% (높은 Recall 이지만 순위 매김 실패)
  • Weed-VG 는 검색 (Retrieval) 과 순위 매김 (Ranking) 모두에서 기존 모델보다 월등히 높은 성능을 보였습니다.

• 크기별 성능 (Scale-Specific Behavior):

  • 기존 모델은 'Tiny'크기의 작물에서 Top-1 정확도가 2% 미만으로 급락했습니다.
  • Weed-VG 는 Tiny 작물에서 **54.66%**의 Top-1 정확도를 기록하여, 대형 작물 (71.90%) 과의 격차를 크게 줄였습니다.

• 장면 밀도 (Scene Density):

  • 30 개 이상의 인스턴스가 있는 매우 밀집된 장면에서도 Weed-VG 는 작물 mIoU 47.58%, 잡초 mIoU **50.00%**를 유지하며 기존 모델들의 성능 붕괴를 막았습니다.

• 부정적 표현 처리 (Negative Accuracy, Neg-Acc):

  • 대상이 없는 경우를 올바르게 "없음"으로 판단하는 능력 (Neg-Acc) 에서 Weed-VG 는 **78.35%**를 기록했습니다.
  • 반면, SAM3 은 25.53%, GroundingDINO 는 7.52% 로, 기존 모델들은 존재하지 않는 대상을 임의의 영역으로 잘못 지칭하는 경우가 많았습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 실용적 가치: 이 연구는 정밀 농업에서 잡초 제거, 비료 살포, 수확 등 선택적 작업을 위한 자동화 시스템의 핵심 기술인 '언어 기반 객체 위치 파악'을 가능하게 합니다.
• 기술적 혁신:
  • 존재 감지와 위치 파악의 분리: 객체가 존재하지 않을 때 위치를 예측하지 않도록 하는 계층적 접근법은 농업과 같은 '부재 (Absence)'가 중요한 도메인에서 필수적입니다.
  • 극단적 스케일 대응: 보간 기반 회귀와 크기 인식 매칭을 통해 미세한 묘목부터 큰 작물까지 모두 정확하게 처리할 수 있는 모델을 제시했습니다.
• 한계 및 향후 과제: 현재 데이터셋은 상향식 (Top-down) 시야각에 국한되어 있으며, 템플릿 기반 주석으로 인해 자유 형식의 언어 표현 평가에는 제한이 있습니다. 향후 더 다양한 각도와 대규모 데이터셋 확보가 필요하다고 언급했습니다.

이 논문은 농업 분야의 시각 - 언어 이해를 위한 새로운 벤치마크 (gRef-CW) 와 이를 해결하는 강력한 프레임워크 (Weed-VG) 를 제시함으로써, 정밀 농업 자동화 기술의 발전에 중요한 이정표가 되었습니다.