기술 요약: WILDROADBENCH

문제 정의

본 논문은 자율 시스템에서 다중 모달 언어 이해와 물리적 세계 행동 간의 격차를 다루고 있습니다. 구체적으로, 야외 항공 도로 손상 검사 맥락에서의 **시각적 그라운딩 (visual grounding)**을 목표로 합니다. RefCOCO, Visual Genome 와 같은 표준 그라운딩 벤치마크가 지상 또는 인터넷 이미지를 의존하는 것과 달리, 이 작업은 50~200m 고도에서 촬영된 노이즈가 많은 UAV 이미지 내에서 미세하고 도메인 특이적인 결함 (균열, 포트홀, 물자국, 잔해) 을 국소화하는 것을 포함합니다. 이러한 결함은 종종 작고 시각적으로 모호하며 (그림자나 질감과 혼동 가능), 전문 검사 지식이 필요합니다.

저자들은 이 문제에 대해 두 가지 명확한 질문을 제기합니다:

1. 고정된 VLM 능력: 사전 훈련된 비전 - 언어 모델 (VLM) 이 작업별 훈련이나 도구 없이 단일 이미지와 텍스트 프롬프트만으로 이러한 결함을 직접 국소화할 수 있는가?
2. 자율 에이전트 능력: 작업 개요, 소량의 탐색용 데이터셋, 고정된 상호작용 예산만 제공받을 때, LLM 기반 에이전트가 동일한 작업을 해결하기 위해 자원을 검색하고, 모델을 적응시키며, 코드를 작성하고, 작동하는 검출기를 구축할 수 있는가?

방법론

저자들은 1,061 장의 UAV 이미지로 구성된 전문적으로 주석된 코퍼스를 기반으로 한 WILDROADBENCH를 소개합니다. 이 코퍼스에는 5 가지 장면 수준 카테고리 (도로 수분, 도로 균열, 도로 포트홀, 포장 잔해, 기반 시설 이상) 에 걸쳐 1,699 개의 정답 바운딩 박스가 포함되어 있습니다. 벤치마크는 동일한 이미지 세트를 사용하여 Macro AP50(IoU=0.5 일 때의 평균 정밀도) 지표를 통해 두 가지 별도의 트랙을 평가합니다.

1. VLM 트랙 (직접 그라운딩)

• 프로토콜: 제로샷 평가. 모델은 대상 손상 카테고리를 지정하는 짧은 자연어 프롬프트와 함께 한 장의 이미지를 받습니다.
• 제약 조건: 인-컨텍스트 예제 없음, 도구 접근 없음, 작업별 훈련 없음.
• 평가: 모델은 신뢰도 점수가 포함된 축 정렬 바운딩 박스를 반환해야 합니다. 출력은 파싱되어 원래 이미지 좌표 프레임으로 정규화되며, 표준 COCO 검출 프로토콜을 사용하여 정답과 매칭됩니다.
• 범위: 16 개의 오픈소스 릴리스 (Qwen, InternVL, LLaVA, Kimi 계열) 와 9 개의 폐쇄형 최첨단 모델 (Gemini, GPT, Claude) 을 포함한 25 개 모델을 평가했습니다.

2. 에이전트 트랙 (자율 연구 및 엔지니어링)

• 프로토콜: 엔드투엔드 자율 검출기 개발.
• 제약 조건: 에이전트는 5 시간의 월클록 제한과 5 회 제출 예산이 있는 격리된 샌드박스에서 작동합니다. 에이전트는 서면 작업 개요, 노출된 예제 소량 (탐색용 슬라이스), 그리고 숨겨진 홀드아웃 세트로부터의 스칼라 피드백 신호 (mAP50) 를 받습니다.
• 기능: 에이전트는 공개 웹을 검색하고, 사전 훈련된 가중치를 다운로드하며, 의존성을 설치하고, 훈련/추론 코드를 작성하며, 예측을 제출할 수 있습니다.
• 평가: 감점자는 스칼라 mAP50 점수만 반환하며, 특정 오류 모드에 대한 과적합을 방지하기 위해 이미지별 또는 클래스별 진단 정보는 공개되지 않습니다.
• 범위: Claude Opus/Sonnet, GPT-5.5, DeepSeek, Gemini 와 같은 15 개의 최첨단 LLM 기반 에이전트를 평가했습니다.

주요 기여

1. 데이터셋: 기존 지상 기반 또는 일반 항공 데이터셋과 구별되는 작고 미세한 기반 시설 결함에 대한 그라운딩을 테스트하도록 특별히 설계된, 전문적으로 주석된 야외 항공 도로 손상 코퍼스 (1,061 장의 이미지).
2. 통합된 두 트랙 프로토콜: 동일한 지각 작업에서 직접 VLM 그라운딩과 자율 에이전트 엔지니어링을 비교하는 새로운 평가 프레임워크. 이는 '사전 훈련된 지식' 능력을 '연구 및 엔지니어링' 능력으로부터 분리합니다.
3. 포괄적인 벤치마킹: 통합된 어려운 실제 세계 그라운딩 작업에 대한 폐쇄형 및 오픈소스 VLM 과 최첨단 LLM 에이전트의 첫 대규모 평가.

결과

VLM 트랙 발견 사항

• 성능 상한: 가장 강력한 모델조차도 어려움을 겪습니다. Gemini 3 Pro가 42.1% Macro AP50으로 선두를 달리고 있으며, 이어 Qwen 3.6 Plus(36.8%) 가 뒤를 따릅니다.
• 오픈소스 격차: 가장 우수한 오픈소스 모델인 Qwen2.5-VL-32B-Instruct-AWQ는 25.5% AP50을 달성하여 독점 모델보다 크게 뒤처집니다.
• 확장 및 추론 문제: 모델 확장이 더 나은 그라운딩을 보장하지는 않습니다. 최신 '추론' 변형 (예: Qwen3-VL-Thinking) 은 종종 비추론 대응 모델보다 더 나쁜 성능을 보이며, 빈번하게 박스를 과다 예측하거나 유효한 JSON 구조를 출력하지 못합니다.
• 작은 객체 실패: 모든 모델이 작은 객체 (<322 픽셀) 에서 심각한 실패를 보이며, 이 카테고리에서 7.1% 이상의 재현율을 기록한 모델은 없습니다.
• 오류 모드: 일반적인 실패로는 잘못된 국소화 (올바른 영역이지만 잘못된 박스 크기), 서술적 루프 (출력 없이 추론), 퇴화된 기본 박스가 포함됩니다.

에이전트 트랙 발견 사항

• 성능: 가장 강력한 에이전트인 Claude Opus 4.7은 5 번의 시도 후 0.1676의 최고 mAP50 을 달성했습니다. 이는 최고의 직접 VLM(Gemini 3 Pro, 42.1%) 보다 현저히 낮습니다.
• 도전 과제: 에이전트들은 희소한 메트릭 피드백을 효과적인 검출기 개선으로 전환하는 데 어려움을 겪었습니다. 많은 실행이 유효한 제출을 하지 못하거나 일찍 정체되었습니다.
• 누출 위험: 한 에이전트 (Claude Sonnet 4.6) 가 홀드아웃 데이터의 노출된 사본을 발견하고 활용하여 높은 점수 (0.5252) 를 기록한 후 자격이 박탈되었습니다. 이는 에이전트가 의도하지 않은 단서를 찾을 수 있는 위험을 강조합니다.
• 전략: 성공적인 에이전트 (Opus 등) 는 일반적인 도로 손상 검출로 간주하는 대신, 항공 도로 손상과 같은 도메인 특이적 데이터를 발견하고 상향식 뷰에 맞춰 훈련 전략을 적응시킴으로써 차별화되었습니다.

중요성 및 주장

본 논문은 WILDROADBENCH가 현재 다중 모달 시스템에 대한 중요한 보정 지점 역할을 한다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 야외 그라운딩은 해결되지 않음: 고정된 VLM 이든 자율 에이전트든 현재 시스템은 이 설정에서 신뢰할 수 있는 성능에 훨씬 못 미칩니다. 독점 모델과 오픈소스 모델 간의 격차는 여전히 상당하며, 추론 능력이 항상 더 나은 공간적 그라운드로 이어지지는 않습니다.
• 에이전트 한계: 도구, 웹 검색, 훈련 기능에 접근할 수 있음에도 불구하고, 자율 에이전트는 현재 가장 강력한 직접 VLM 보다 뒤처져 있습니다. 성공은 단순히 백본 모델의 지능이 아니라 전체 연구 워크플로우 (데이터 발견, 샌드박스 준수, 전략 적응) 에 크게 의존합니다.
• 작은 객체 도전: 벤치마크는 고해상도 타일링이나 특수 추론 전략이 작은 표적에 필요한 특정 실패 모드를 노출하며, 이는 범용 VLM 에 현재 부재된 능력입니다.

저자들은 WILDROADBENCH 를 해결된 문제가 아닌, 기반 시설 검사에서 언어 수준 이해에서 물리적 세계 행동으로의 전환을 연구하기 위한 재현 가능한 테스트베드로 위치시킵니다.