기술 요약: DetAS – 경험 인지 추론을 통한 객체 탐지를 위한 에이전트 기반 프레임워크

문제 정의

실제 환경에서의 객체 탐지는 다양한 이미지 열화(예: 안개, 비, 저조도, 수중 왜곡)와 이질적인 객체 분포로 인해 상당한 어려움에 직면해 있습니다. 기존의 접근 방식은 일반적으로 다음 두 가지 패러다임으로 나뉘며, 두 방식 모두 고유한 한계를 보입니다:

1. 표현 학습(Representation Learning): 이러한 방법들은 고정된 열화 유형과 객체 카테고리를 가진 정제된 데이터셋에 의존하여 특화된 표현을 학습합니다. 이는 학습 도메인 내에서는 효과적이지만, 열화 유형이나 장면 분포가 약간만 변해도 일반화에 실패합니다.
2. 엔드 투 엔드 파이프라인(End-to-End Pipelines): 이러한 방식은 표준 탐지기와 전용 이미지 복원 모듈을 결합합니다. 그러나 사전 정의된 복원 전략과 수동으로 설계된 파이프라인에 의존합니다. 이들은 복원이 필요한지 여부나 어떤 특정 복원-탐지 조합이 주어진 입력에 최적인지를 결정하는 유연성이 부족하여, 복원이 객체의 경계나 배경 색상을 변화시킬 때 성능 저하 또는 최적이지 않은 성능을 초래할 수 있습니다.

결과적으로, 전통적인 폐쇄형 어휘(closed-vocabulary) 탐지기는 단일 정적 파이프라인이 다양한 환경 조건과 객체 분포를 동시에 처리할 수 없는 동적으로 변화하는 실제 환경에 적응하기 어렵습니다.

방법론

본 논문은 객체 탐지를 동적인 의사결정 과정으로 재정의하는 에이전트 기반 프레임워크인 DetAS(Detect in Any Scene)를 제안합니다. DetAS는 정적인 파이프라인 대신, 멀티모달 거대 언어 모델(MLLM)을 중심 에이전트로 활용하여 복원 모듈과 특화된 탐지기들로 구성된 툴박스에서 워크플로우를 적응적으로 구성합니다.

이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 자기 적응형 이미지 복원 (SAIR)

SAIR은 탐지 전 이미지를 개선할지 여부와 그 방법을 동적으로 결정합니다.

• 장면 인지(Scene Perception): LLM 인지 모듈이 입력 이미지를 분석하여 열화 인지 장면 프로필(예: 정상, 안개, 비, 수중, 저조도, 노이즈)을 예측합니다.
• 도구 선택(Tool Selection): 예측된 레이블을 바탕으로, SAIR은 풀(pool)에서 해당하는 복원 도구(예: 디헤이징, 디레이닝, 노이즈 제거, 밝기 향상)를 선택합니다.
• 이미지 선택 메커즘(Image Selection Mechanism): 결정적으로, SAIR은 원본 이미지와 복원된 버전을 비교합니다. 시각적 미학보다는 탐지 지향적 단서(객체 가시성, 경계 명확성, 구조적 무결성)를 극대화하는 버전을 선택합니다. 만약 복원이 탐지 성능을 저하시킨다면 원본 이미지를 유지합니다.
• 초해상도(Super-Resolution, SR): 작은 또는 멀리 있는 객체를 위해 공간 해상도를 높이는 최종 SR 단계가 적용되며, 업스케일링 계수는 목표 해상도에 따라 자동으로 선택됩니다.

2. 다중 전문성 탐지 (MED)

MED는 다양한 객체 분포를 처리하기 위해 여러 도메인 특화 탐지기를 통합합니다.

• 탐지기 풀(Detector Pool): 시스템은 일반 목적, 밀집/소형 객체, 자율 주행, 드론 뷰, 수중, 얼굴 탐지기를 포함하여 다양한 전문성을 가진 탐지기 풀을 유지합니다.
• 적응형 선택(Adaptive Selection): 이미지 내용과 타겟 카테고리 목록이 주어지면, LLM 에이전트는 풀에서 가장 적합한 상위 $K$개의 탐지기를 선택합니다.
• 인스턴스 그룹화(Instance Grouping): 여러 탐지기로부터 발생하는 중복 예측을 해결하기 위해, 후보 바운딩 박스들을 공간적 중첩(IoU) 및 크롭된 영역의 시각적 유사성을 기준으로 그룹화합니다.
• 인스턴스 수준 추론(Instance-Level Reasoning): 그룹화된 각 인스턴스에 대해, 시스템은 해당 영역을 추출하여 LLM에 제공하고 최종 의사결정을 수행합니다. 이를 통해 LLM은 특정 객체에 집중하여 허위 예측(false predictions)을 거부하고 최적의 바운딩 박스-레이블 쌍을 선택할 수 있으며, 소형 객체에 대한 토큰 효율성과 정확도를 높입니다.

3. 자기 진화형 경험 수확 (SEEH)

규칙 기반 결정의 경직성을 해결하고 미세한 이미지 특성을 포착하기 위해, 프레임워크는 SEEH를 통해 DetAS-X로 확장됩니다.

• 경험 수집(Experience Collection): 배포 전, 시스템은 소량의 주석이 달린 데이터에 대해 탐색적 실행을 수행합니다. 시스템은 노드 수준의 결정 결과(복원기 선택, SR 선택, 탐지기 선택)와 그에 따른 성능 지표(예: F1 점수)를 특정 장면 프로필에 대해 기록합니다.
• 경험 검색(Experience Retrieval): 추론 중에 시스템은 입력 이미지에 대한 미세한 프로필 키를 생성합니다. 이후 경험 메모리를 쿼리하여 가장 유사한 과거 프로필 $K$개와 그에 연관된 최적의 결정을 검색합니다.
• 경험 인지 추론(Experience-Aware Reasoning): LLM 에이전트는 검색된 과거 경험을 현재의 시각적 증거와 함께 사용하여 더 정보가 풍부한 결정을 내리며, 이를 통해 시스템은 재학습 없이도 다양한 시나리오에 적응하며 정책을 점진적으로 정교화할 수 있습니다.

주요 기여

1. 에이전트 기반 탐지 프레임워크 (DetAS): 탐지를 동적인 의사결정 과정으로 공식화하고, 정적 파이프라인에 의존하는 대신 MLLM 에이전트를 사용하여 복원 도구와 특화된 탐지기를 적응적으로 선택하는 새로운 프레임워크를 제안합니다.
2. 경험 인지 추론 (DetAS-X): 주석이 달린 소량의 데이터를 통해 노드 수준의 결정 경험을 축적하는 자기 진화형 경험 수확(SEEH)을 도입했습니다. 이를 통해 시스템은 과거 관찰로부터 학습하고 미세한 조건 하에서 결정 품질을 개선할 수 있습니다.
3. 포괄적 평가: 다양한 열화가 포함된 6개의 도전적인 벤치마크에서 제안된 프레임워크가 기존 MLLM 기반 탐지기보다 크게 우수함을 입증하는 광범-한 실험을 수행했습니다.

실험 결과

프레임워크는 HazyDet(안개 낀 드론 장면), MARIS(수중), DarkFace(저조도 얼굴), B-Night 및 B-Rainy(BDD100K 서브셋), 그리고 COCO(표준 탐지)의 6개 벤치마크에서 평가되었습니다.

• 성능 향상: DetAS-X는 6개 데이터셋에 대해 기존 MLLM 베이스라인 대비 F1 점수에서 평균 **28.36%**의 향상을 달着했습니다.
• 특정 개선 사항: 저조도 얼굴 탐지를 위한 DarkFace 데이터셋에서 **37.01%**의 주목할 만한 향상이 관찰되었습니다.
• 비교: 베이스라인 MLLM(예: Qwen3-VL-8B, GPT-4.1)은 심각한 열화 상황에서 어려움을 겪었으나(특정 열화 데이터셋에서 F1 점수가 10% 미만인 경우가 많음), DetAS-X는 일관되게 높은 성능을 달성했습니다(예: DarkFace에서 44.98%, HazyDet에서 52.35%).
• 절제 연구(Ablation Studies): SAIR 또는 MED를 제거하면 성능이 크게 하락했습니다(예: SAIR가 없을 경우 DarkFace의 F1 점수가 44.98%에서 25.84%로 하락). 최적의 선택된 탐지기 수($K$)는 2로 나타났으며, 이를 초과하면 도메인 외 허위 예측으로 인해 성능이 약간 저하되었습니다.

의의 및 주장

본 논문은 DetAS가 에이전트 기반 탐지의 견고한 기초를 구축하며, 복잡하고 동적인 환경에서 강건한 객체 탐지를 위해 동적이고 입력 인지적인 의사결정이 정적인 파이프라인보다 우월함을 입증한다고 주장합니다.

• 패러다임 전환: 본 연구는 다양한 열화 상황에서의 강건함이 단순히 개선된 표현이나 고정된 복원 파이프라인이 아닌, 적응형 추론을 필요로 한다는 점을 시사합니다.
• 확장성: 프레임-워크의 모듈식 구조는 의료 영상이나 적외선 탐지와 같은 더 넓은 응용 분야를 지원하기 위해 추가적인 도구와 탐지기를 통합할 수 있게 합니다.
• 미래 잠재력: 저자들은 MLLM의 그라운딩(grounding) 능력이 향려됨에 따라, 고정된 장면 설정에서의 MLLM 기반 탐지기의 한계가 줄어들 것이며, 이는 에이전트 기반 탐지가 확장 가능한 실제 배포를 위한 유망한 패러다임임을 더욱 입증할 것이라고 보고 있습니다.

저자들은 코드가 승인 시 오픈 소스로 공개될 예정이라고 밝혔습니다.