기술 요약: AnomalyClaw

문제 정의

시각 이상 탐지 (VAD) 는 산업 검사, 의료 영상, 인프라 모니터링에 필수적입니다. 그러나 기존 접근 방식은 두 가지 주요 과제를 직면하고 있습니다:

1. 도메인 분열: 이상 정의, 데이터 모달리티, 주석 표준이 도메인 간 (예: 산업 결함 대 의료 병변) 에 따라 크게 다릅니다. 한 도메인에서 훈련된 모델은 다른 도메인으로 효과적으로 이전되지 않습니다.
2. 시각 - 언어 모델 (VLM) 의 한계: 사전 훈련된 VLM 은 도메인 간 잠재력을 제공하지만, 단일 추론 판단은 종종 신뢰할 수 없습니다. 이들은 정상 샘플 참조에서 나오는 세밀한 증거보다는 일반적인 사전 지식에 크게 의존합니다. 결과적으로, 특정 정상 참조에 대해 가설을 명시적으로 검증할 메커니즘이 부재하기 때문에 자연스러운 질감을 결함으로 오인하거나 그 반대의 경우와 같이 높은 확신을 가진 잘못된 판단을 내릴 수 있습니다.

방법론: AnomalyClaw

저자들은 이상 탐지를 단일 통과 분류가 아닌 다중 라운드 반증 과정으로 재정의하는 훈련 불필요, 백본 무관 VAD 에이전트인 AnomalyClaw를 제안합니다.

핵심 아키텍처

이 시스템은 고정된 VLM 백본을 기반으로 하며 세 가지 동시 구성 요소로 이루어져 있습니다:

1. 반증 에이전트 (주요 혁신):
   • 과정: 이상을 확인하기 위해 증거를 누적하는 대신, 에이전트는 반증 루프에 참여합니다. 에이전트는 후보 이상 특징을 제안하고 정상 참조 이미지와 비교하여 이를 반박하려 시도합니다.
   • 도구 라이브러리: 에이전트는 시각적 검증 (나란히 자르기, 확대/축소), 참조 검색 (DINOv2 유사도), 전문가 탐지 (고정된 SubspaceAD 모델), 도메인 지식 조회를 포함하는 13 가지 도구 카탈로그를 활용합니다.
   • 적응성: 도구는 도메인 적용 가능성 절에 의해 게이트됩니다 (예: 정렬되지 않은 도메인인 의료 영상에서는 픽셀 단위 차이 도구가 비활성화됨). 에이전트는 불확실성을 해결하기 위해 비용 순서대로 정렬된 사다리 (L1–L7) 를 기반으로 도구를 선택합니다.
   • 궤적: 에이전트는 최대 $K=5$턴 동안 실행됩니다. 각 턴에서 의심스러운 특징을 선택하고 도구 기반 증거를 수집한 후 (참조에서 발견됨, 발견되지 않음, 결정 불가) 판정을 내리고 이에 따라 이상 점수를 업데이트합니다.
2. 직접 VLM 스코어러 (보조 신호):
   • 거친 이상 점수 ($s_D$) 를 제공하는 단일 통과, 설명자 없는 VLM 호출입니다. 이는 다중 턴 반증이 어려움을 겪을 수 있는 백본에 특히 강력한 안전망 역할을 합니다.
3. 퓨전:
   • 최종 점수는 고정된 가중 평균입니다: $s_{final} = 0.5 \cdot s_D + 0.5 \cdot s_R$. 이 혼합은 도메인별 튜닝 없이 모든 백본에 균일하게 적용됩니다.

구술형 자기 진화 (선택적 확장)

도메인 간 VAD 에서 라벨이 붙은 양적 데이터의 부재를 해결하기 위해, 저자들은 온라인 자기 정제 (OSR) 메커니즘을 도입합니다:

• 메커니즘: 시스템은 직접 브랜치와 반증 브랜치 간의 불일치를 모니터링합니다. 차이 $|s_D - s_R| > 0.30$이면 해당 항목이 대기열에 추가됩니다.
• 규칙 생성: 도메인별 대기열이 채워지면 (N=10 개 항목), '반사기' VLM 이 (정답 라벨 없이) 궤적을 분석하여 수정 텍스트 규칙을 생성합니다.
• 적용: 이러한 규칙은 RAG 를 통해 검색되어 후속 쿼리에 접두어로 추가되어, 에이전트가 온라인에서 자신의 내부 불일치로부터 '학습'할 수 있게 합니다.

주요 기여

1. 최초의 범용 VAD 에이전트: AnomalyClaw 는 VAD 를 명시적 반증을 통한 구성적 지각으로 규정하는 훈련 불필요, 백본 무관 에이전트입니다. 이는 GPT-5.5, Seed2.0-lite, Qwen3.5-VL-27B 등 다양한 VLM 백본에 걸쳐 단일 레시피를 사용합니다.
2. 누적 대신 반증: 이 논문은 이상 탐지가 본질적으로 비교적이라고 주장합니다. 각 추론 턴을 정상 참조에 대한 후보를 반증하려는 명시적 시도로 간주함으로써, 에이전트는 누적식 루프에서 흔히 발생하는 확인 편향을 피합니다.
3. 라벨 없는 자기 진화: OSR 확장은 에이전트가 오라클 라벨 없이 내부 브랜치 불일치를 통해 개선될 수 있음을 보여주며, 이는 표준 프롬프트 엔지니어링이나 지도 미세 조정과 구별되는 능력입니다.
4. CrossDomainVAD-12 벤치마크: 단일 도메인 평가에 의해 가려진 백본 및 도메인 의존적 실패 모드를 드러내기 위해 12 개 서로 다른 도메인 (산업, 의료, 원격 탐지 등) 을 단일 참조 기반 AUROC 프로토콜로 통합한 새로운 벤치마크입니다.

실험 결과

CrossDomainVAD-12(12 개 도메인의 1,418 개 테스트 항목) 에서 평가됨:

• 성능 향상: AnomalyClaw 는 모든 백본에서 단일 단계 직접 추론을 일관되게 능가합니다:
  • GPT-5.5: 매크로 AUROC 에서 6.23 퍼센트 포인트 (pp) 향상.
  • Seed2.0-lite: 매크로 AUROC 에서 7.93 pp 향상.
  • Qwen3.5-VL-27B: 매크로 AUROC 에서 3.52 pp 향상.
  • 모든 향상은 계층화 쌍체 부트스트랩을 통한 95% 신뢰도로 통계적으로 유의미합니다.
• 도메인 간 일반화: 에이전트는 도메인 간 작업에서 전문화된 미세 조정 VLM(예: AD-Copilot, IAD-R1) 을 크게 능가합니다. 미세 조정 모델은 종종 비산업 도메인 (예: 원격 탐지에서 거의 무작위 수준으로 하락) 에서 붕괴되는 반면, AnomalyClaw 는 작업별 훈련 없이도 견고한 성능을 유지합니다.
• 자기 진화: OSR 확장은 Qwen3.5-VL-27B 에서 평균 2.09 pp 의 향상을 가져와, 도메인당 10 개의 오라클 라벨을 사용한 규칙 학습 베이스라인과 비교할 만한 성과를 냈지만, 제로 오라클 라벨로 달성되었습니다.
• 행동 분석: 더 강력한 백본 (GPT-5.5) 은 더 많은 추론 턴과 도구를 효과적으로 활용합니다. 반증 궤적은 안전망 역할을 하여 특정 도메인 실패를 보상합니다 (예: 반증만 있는 제거 실험이 실패한 D11 GI 내시경에서 성능 회복).

중요성과 주장

이 논문은 에이전트적 반증이 단순히 도구 출력을 집계하는 것이 아니라 VLM 의 이상 이해 및 추론 능력을 근본적으로 향상시킨다고 주장합니다.

• 훈련 불필요 적응성: 이 시스템은 대규모 이상 주석 수집이나 모델 재훈련 비용 없이 새로운 도메인 시나리오에 대한 '사용 준비 완료' 솔루션을 제공합니다.
• 에이전트 고유 개선: 구술형 자기 진화 메커니즘은 에이전트가 내부 불일치로부터 자체 규칙집을 부트스트랩할 수 있음을 보여주며, 이는 제로샷 설정에서 라벨 기반 루프가 복제할 수 없는 능력입니다.
• 상호 보완적 오류 수정: 거친 직접 스코어러와 상세한 반증 에이전트의 퓨전은 다중 턴 에이전트가 과도하게 정제되거나 퇴화할 수 있는 도메인에서 직접 브랜치가 치명적인 실패를 방지하는 견고한 시스템을 생성합니다.

저자들은 AnomalyClaw 를 단순한 성능 향상이 아닌, 매개변수 업데이트 없이 백본, 도메인, 작업 간에 이전 가능한 구성적 지각 에이전트로의 패러다임 전환으로 위치시킵니다.