💻 computer science

WADE: A Reasoning-Annotated Benchmark for Multi-Instance Floating-Waste Grounding with Compact Vision-Language Models

이 논문은 열악한 조건 하에서 다중 인스턴스 폐기물을 국지화, 계수 및 설명하는 소형 시각-언어 모델의 성능을 평가하고 개선하기 위해, 상세한 시각적 규칙과 함께 방글라데시 농촌 지역의 부유 폐기물 이미지 2,167개를 특징으로 하는 추론 주석 벤치마크인 WADE를 소개한다.

원저자: Md. Asaduzzaman Shuvo, Ahsan Farabi, Md. Abdul Ahad Minhaz, Mahedi Hasan, Israt Khandaker, Ibrahim Khalil Shanto, Muhammad Nomani Kabir

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Md. Asaduzzaman Shuvo, Ahsan Farabi, Md. Abdul Ahad Minhaz, Mahedi Hasan, Israt Khandaker, Ibrahim Khalil Shanto, Muhammad Nomani Kabir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

강, 연못, 운하 등은 많은 풍경의 혈관과 같으며, 공동체에 생명과 물을 실어 나릅니다. 그러나 이러한 수로들은 종종 플라스틱 병, 뒤엉킨 천 조각, 유기물 등이 뒤섞인 부유 쓰레기로 인해 막히게 되며, 이는 생태계의 건강을 위협합니다. 수십 년 동안 과학자들은 수동 순찰이나 광범위한 위성 이미지를 사용하여 이 오염을 추적해 왔지만, 이러한 방식은 갈대와 빛 반사 사이에 숨겨진 작고 흩어진 쓰레기들을 찾아내는 데 어려움을 겪습니다. 최근 몇 년 사이, 단순히 사진 속 사물을 식별하는 것을 넘어 말로 설명할 수 있는 새로운 종류의 인공지능이 등장했습니다. 시각-언어 모델(vision-language models)로 알려진 이 시스템은 숫자를 세고, 위치를 찾고, 자신이 보는 것을 설명할 수 있는 지치지 않는 관찰자 역할을 할 것이라는 기대를 모으고 있습니다. 하지만 이 모델들은 명확하고 단일한 물체를 포착하는 데는 뛰어나지만, 수십 개의 항목이 겹쳐 있거나 배경과 섞여 있거나 일부만 보이는 무질서하고 혼잡한 장면을 마주하면 자주 비틀거립니다. 과연 컴퓨터가 정말로 혼탁한 강 표면을 제대로 이해하여 정화 작업을 도울 수 있을까요?

United International University의 연구팀은 이 어려운 과제를 위해 특별히 설계된 새로운 테스트를 구축함으로써 이 질문에 답하고자 했습니다. 그들은 부유 쓰레지 그라운딩(floating-waste grounding)을 위한 벤치마크를 뜻하는 WADE라는 데이터셋을 만들었습니다. 연구팀은 방글라데시의 농촌 수로에서 촬영한 2,167장의 실제 사진을 수집하여, 계절과 시간대에 따른 연못과 운하의 무질서한 현실을 담아냈습니다. 이 이미지 속에서 쓰레기는 깔끔하게 줄 지어 있지 않습니다. 그것들은 덩어리로 떠다니며, 종종 물에 반쯤 잠겨 있거나 수생 식물 및 조류와 뒤엉켜 있습니다. 연구진은 플라스틱 병부터 스티로폼, 나무 파편에 이르기까지 13,608개의 개별 항목에 박스를 그려가며 찾을 수 있는 모든 쓰레기를 세심하게 표시했습니다. 이 데이터셋이 독특한 점은 모든 유형의 쓰레기에 대해 유사해 보이는 다른 것들과 구별하는 방법을 설명하는 일련의 규칙을 함께 작성했다는 것입니다. 예를 들어, 플라스틱 병을 스티로폼 조각과 어떻게 구별하는지, 혹은 자연적인 조류 번식처럼 보이는 유기물 쓰레기를 어떻게 포착하는지를 기록했습니다. 이러한 추론의 층위는 컴퓨터에게 무엇을 찾을 것인가뿐만 아니라, 자신이 보는 것에 대해 어떻게 생각할 것인가를 가르치기 위한 의도였습니다.

연구진은 이후 이 새로운 도전에 대해 여섯 가지 서로 다른 인공지능 모델을 테스트했습니다. 여기에는 일반적인 컴퓨터에서도 실행 가능한 작고 효율적인 프로그램부터 주요 기술 기업들이 사용하는 거대하고 강력한 시스템까지 포함되었습니다. 연구진은 이 모델들에게 강 사진을 보고 보이는 모든 쓰레기를 목록으로 만들되, 각 항목의 위치와 이름, 그리고 왜 그 이름을 선택했는지에 대한 짧은 설명을 제공하도록 요청했습니다. 모델들이 이 특정 이미지들에 대한 사전 학습 없이 이 작업을 수행하도록 했을 때, 결과는 냉혹했습니다. 가장 발전된 상용 시스템조차 쓰레기를 정확하게 찾는 데 어려움을 겪었습니다. 모델들은 종종 올바른 개수를 맞혔지만 위치 박스를 엉뚱한 곳에 배치하거나, 실제로 존재하지 않는 물체를 자신 있게 설명하기도 했습니다. 모델들은 쓰레기의 개념은 이해하는 듯 보였으나, 이를 이미지의 정확한 픽셀 단위로 고정하는 데 실패했는데, 이는 '부실한 공간적 그라운딩(poor spatial grounding)'이라 불리는 문제입니다.

상황을 개선할 수 있는지 확인하기 위해 연구진은 몇 가지 전략을 시도했습니다. 첫째, 모델들에게 질문에 답하는 몇 가지 예시를 보여주어 이들이 길을 찾도록 유도했습니다. 하지만 이는 큰 도움이 되지 않았으며, 오히려 일부 모델의 경우 더 주저하게 만들어 쓰레기를 찾는 가능성을 낮추었습니다. 다음으로, 연구진은 모델들에게 서로 다른 종류의 쓰레기를 구별하는 서술된 규칙들을 제공하여 이 지식이 집중력을 높여주기를 기대했습니다. 이는 모델들을 더 신중하게 만들어 가짜 물체를 만들어내는 횟수를 줄여주었지만, 동시에 실제 쓰레기를 더 많이 놓치게 만들었습니다. 모델들이 확신을 갖는 데 너무 집중한 나머지, 숨겨진 까다로운 항목들을 찾는 것을 멈춰버린 것입니다.

가장 유의미한 변화는 연구진이 새로운 데이터셋을 사용하여 하나의 작은 모델을 직접 가르쳤을 때 나타났습니다. 연구진은 모델이 준비된 수천 개의 박스, 라벨, 추론 규칙으로부터 학습할 수 있도록 모델의 내부 설정을 조정했습니다. 이 학습은 모델의 성능을 완전히 바꾸어 놓았습니다. 모델은 훨씬 더 많은 실제 쓰레기를 찾아내기 시작했으며, 테스트된 전체 항목 중 거의 4분의 1을 정확하게 찾아냈는데, 이는 이전의 제로에 가까웠던 성공률에서 엄청난 도약이었습니다. 또한 가짜 물체를 만들어내는 현상도 거의 완전히 멈췄습니다. 놀랍게도, 이 작고 훈련된 모델은 이 특정 문제에 대해 학습되지 않은 가장 크고 비싼 상용 시스템들보다 쓰레기를 더 잘 찾아냈습니다.

이러한 성공에도 불구하고, 연구진은 문제가 아직 해결되지 않았음을 강조합니다. 학습을 거쳤음에도 불구하고, 최고의 모델조차 이미지 속 쓰레기의 4분의 3 이상을 놓쳤습니다. 특히 매우 작거나, 심하게 가려져 있거나, 물과 식물 속에 완벽하게 섞여 있는 항목들을 찾는 데 어려움을 겪었습니다. 이 연구는 명확한 격차를 보여줍니다. 현재의 인공지능은 장면이 어떤 모습인지 말로 설명할 수는 있지만, 장면이 무질서하고 복잡할 때 그 사물들이 정확히 어디에 있는지를 가리키는 데는 여전히 매우 미흡합니다. 연구진은 이러한 모델들을 구체적인 실제 사례로 가르치는 것이 강력한 진전이지만, 야생에서 부유하는 쓰레기를 안정적으로 모니터링하고 계산할 수 있는 시스템을 갖추기까지는 아직 갈 길이 멀다고 결론지었습니다. 과제는 컴퓨터가 강을 청소하는 데 필요한 인간 관찰자와 같은 명료함과 세밀한 주의력을 가지고 세상을 볼 수 있도록 돕는 것입니다.

기술 요약: WADE – 다중 인스턴스 부유 폐기물 그라운딩을 위한 추론 주석 벤치마크

1. 문제 정의

내륙 수로의 부유 폐기물은 수생 생태계에 심각한 위협이 되지만, 복잡한 환경 특성으로 인해 자동 모니터링은 여전히 까다로운 과제입니다. 기존의 데이터셋과 컴퓨터 비전 접근 방식은 폐기물 객체가 작고, 일부가 잠겨 있으며, 가려짐(occlusion)이 심하고, 식생과 시각적으로 유사하며, 불균일하게 분포되어 있는 실제 수면 이미지에서 어려움을 겪는 경우가 많습니다.

시각-언어 모델(VLM)은 인식, 공간적 그라운딩(grounding), 텍스트 설명을 위한 통합된 인터페이스를 제공하지만, 이 도메인에서는 다음과 같은 구체적인 한계에 직면합니다:

다중 인스턴스 그라운딩 (Multi-Instance Grounding): 단일 주요 객체를 식별하는 것과 달리, 모니터링에는 혼란스러운 장면 속의 모든 가시적 인스턴스를 국지화(localization)하는 능력이 필요합니다.
객체 환각 (Object Hallucination): 생성형 VLM은 이미지에 존재하지 않는 객체나 카테고리를 빈번하게 예측합니다.
추론 감독의 부재 (Lack of Reasoning Supervision): 현재의 벤치마크는 경계 상자(bounding box)와 레이블을 제공하지만, 왜 특정 객체가 특정 카테고리에 속하는지를 설명하는 구조화된 추론 체인이 부족합니다. 이는 폐기물을 조류(algae)나 반사광과 같은 혼란 요소와 구별하는 데 매우 중요합니다.

2. 방법론

WADE 데이터셋

저자들은 소형 VLM을 활용한 밀집된 다중 인스턴스 부유 폐기물 그라운딩을 위해 설계된 새로운 벤치마크인 WADE를 소개합니다.

데이터 수집: 방글라데시 전역 390개 지역의 농촌 수로(연못, 운하, 강)에서 촬영된 2,167장의 현장(in-situ) 이미지를 수집했습니다. 수집 과정에서 폐기물을 인위적으로 배치하지 않고 다양한 조건(겨울, 몬순, 다양한 조도)을 반영했습니다.
주석(Annotations): 이 데이터셋은 10개 카테고리(예: 플라스틱 병, 물옥잠, 조류 번식, 산업 폐기물)에 걸쳐 13,608개의 주석 처리된 인스턴스를 포함합니다.
추론 스키마 (Reasoning Schema): 핵심 혁신은 클래스 수준의 추론 체인을 포함시킨 것입니다. 모든 박스마다 고유한 설명을 작성하는 대신, 저자들은 각 카테도리에 대해 구조화되고 장면 불변적인(scene-invariant) 추론 체인을 정의했습니다. 이 체인에는 다음이 포함됩니다:
- 주요 시각적 단서.
- 발생 가능한 혼동 요소 (예: 플라스틱과 스티로폼의 구분).
- 대비적 결정 규칙.
- 부분적 가시성을 위한 백업 근거.
분할 전략 (Split Strategy): 데이터는 수역(water-body) 단위로 75/10/15(학습/검증/테스트) 분할되었습니다. 이는 특정 연못, 운하 또는 강이 하나의 파티션에만 나타나도록 하여 엄격한 위치 불연속적(location-disjoint) 평가를 보장합니다.

실험 설정

본 연구는 네 가지 체제 하에서 6개의 VLM(오픈 웨이트 모델 4개: LLaMA-3.2-11B-Vision, InternVL2-2B, Qwen3-VL-2B-Instruct, LFM2.5-VL-1.6B; 그리고 상용 모델 2개: GPT-4o-mini, Gemini-2.5-Flash)을 평가합니다:

제로샷 (Zero-Shot): 엄격한 지시문 기반 추론.
투샷 (Two-Shot): 두 개의 고정된 학습 예시를 사용하는 인컨텍스트 학습.
추론 가이드 프롬프팅 (Reasoning-Guided Prompting): 이미지 예시 없이 클래스 수준의 인식 규칙을 제공.
추론 감독 미세 조정 (Reasoning-Supervised Fine-Tuning): 전체 정답 JSON(경계 상자, 레이블, 추론 체인)을 사용하여 Qwen3-VL-2B를 QLoRA로 공동 미세 조정.

평가 지표

성능은 다음을 통해 측정됩니다:

그라운딩 (Grounding): IoU $\ge$ 0.5 및 0.75에서의 클래스 인식 정밀도(Precision), 재현율(Recall), F1 점수.
환각 (Hallucination): 인스턴스 수준 및 이미지 수준 CHAIR 점수 (지원되지 않는 예측 측정).
카운팅 (Counting): 평균 절대 오차(MAE) 및 평균 제곱근 오차(RMSE).
질적 평가: 박스 품질, 추론 품질, 환각 제어를 평가하는 블라인드 인간 평가 및 LLM 판사.

3. 주요 결과

베이스라인 성능 (Zero-Shot)

기존 VLM은 적응 없이는 밀집된 부유 폐기물 그라운딩에서 낮은 성능을 보입니다.

낮은 재현율: 가장 강력한 제로샷 모델인 Gemini-2.5-Flash조차 F1 점수가 0.1174에 불과합니다. Qwen3-VL-2B와 같은 소형 모델은 F1 점수가 0.0257에 그칩니다.
국지화 vs 카운팅: 모델들은 종종 정답 개수와 유사한 수의 박스를 생성하지만(예: Qwen3-VL-2B는 예상 개수의 93%를 생성), 이를 정확하게 국지화하는 데는 실패합니다(재현율 2.48%에 불과).
환각: 제로샷 모델은 높은 환각률을 보입니다. 예를 들어, InternVL2-2B는 테스트 이미지의 99.6%에서 환각을 일으킵러집니다.

프롬프팅의 영향

투샷 (Two-Shot): 일반적으로 그라운딩 성능을 개선하지 못하며, 일부 경우(예: Qwen3-VL-2B) 성능이 크게 저하됩니다 (F1이 0.0077로 하락).
추론 가이드 (Reasoning-Guided): 정밀도를 높이고 환각을 줄이지만, 재현율을 희생합니다. Qwen3-VL-2B의 경우 재현율이 0.0248에서 0.0137로 떨어지는데, 이는 변별력 있는 규칙을 제공하는 것이 모델을 지나치게 보수적으로 만들어 작거나 가려진 많은 객체를 놓치게 함을 의미합니다.

미세 조정의 영향

QLoRA를 사용하여 Qwen3-VL-2B를 미세 조정하면 가장 유의미한 개선을 얻을 수 있습니다:

성능 향상: 재현율은 0.0248에서 0.2339로, F1 점수는 0.0257에서 0.2163으로 상승합니다.
환각 감소: 이미지 수준 환각이 0.6836에서 0.0883으로 급격히 감소합니다.
비교: 미세 조정된 2B 모델은 정밀도, 재현율, F1 측면에서 가장 강력한 제로샷 상용 시스템(Gemini-2.5-Flash)을 능가합니다.
한계: 이러한 개선에도 불구하고, 모델은 여전히 IoU 0.5에서 인스턴스의 75% 이상을 놓치며, IoU 0.75에서는 거의 90%를 놓칩니다.

질적 발견

LLM 판사와 인간 평가자 모두 모델이 부정확한 경계 상자를 생성할 때조차 그럴듯한 추론 설명을 생성할 수 있다는 점에 주목했습니다. 이는 유창한 추론이 반드시 성공적인 공간적 그라운딩과 상관관계가 있는 것은 아님을 시사합니다.

4. 핵심 기여

WADE 데이터셋: 2,167장의 이미지와 13,608개의 주석을 포함하며, 데이터 누수를 방지하기 위해 위치 불연속적 분할을 적용한 실제 환경의 다중 인스턴스 벤치마크.
추론 주석: 단순한 박스 및 레이블 주석을 넘어, 모든 인스턴스를 클래스 수준의 추론 체인(시각적 단서, 혼동 요소, 규칙)과 연결하는 구조화된 스키마.
포괄적 평가: 제로샷, 퓨샷, 프롬프팅, 미세 조정 체제에서 6개의 VLM을 체계적으로 연구하여 밀집된 환경적 그라운딩의 특수한 과제를 규명.
경험적 증거: 도메인 특화 공동 감독(박스 + 레이블 + 추론)이 소형 VLM의 성능을 크게 향상시키지만, 해당 과제가 여전히 해결되지 않았음을 입증.

5. 의의 및 주장

본 논문은 WADE를 현재 VLM의 능력과 신뢰할 수 있는 환경 모니터링 요구 사항 사이의 간극을 드러내는 도전적인 벤치마크로 규정합니다.

완곡한 주장: 저자들은 미세 조정이 성능을 개선하지만, 이 작업은 "해결된 것이 아니다"라고 명시적으로 밝힙니다. 최상의 모델조차 주석 처리된 객체의 대다수를 탐지하는 데 실패하며, 특히 작거나 가려진 객체에서 그러합니다.
추론의 역할: 논문은 추론 주석이 감독에 유용하다고 주장하지만, 관찰된 미세 조정의 개선은 추론 단독의 효과가 아니라 박스, 레이블, 추론의 공동 감독에 의한 것이라고 주의를 줍니다 (박스 및 레이블만 사용한 절제 실험이 수행되지 않았기 때문).
향후 방향: 결과는 전문화된 환경 인지를 위해 단순히 모델 규모를 키우는 것보다 타겟팅된 감독이 더 효과적임을 시사합니다. 그러나 저자들은 향ating 향후 연구가 소형 객체 표현, 해상도 인식 인코딩, 그리고 카운팅 정확도와 국지화 정확도의 분리 문제를 다루어야 한다고 강조합니다.

결론적으로, 본 논문은 소형 VLM이 이 도메인에 적응될 수 있지만, 현재의 아키텍처는 밀집하고 혼란스러운 수로에서 요구되는 "철저한 다중 인스턴스 그라운딩"을 수행하는 데 어려움을 겪고 있음을 주장하며, WADE를 보다 견고한 환경 AI를 향한 필수적인 단계로 설정합니다.