기술 요약: 약한 감독 분할을 의미 기반 정규화로서

문제 정의

의미론적 분할은 밀집된 픽셀 수준의 주석이 필요하며, 이는 생성 비용이 높고 시간이 많이 소요되어 새로운 도메인에 모델을 배포하는 데 병목 현상을 초래합니다. 약한 감독 의미론적 분할 (WSSS) 은 이미지 수준 태그, 바운딩 박스, 또는 스크래블과 같은 저렴하고 간접적인 단서를 사용하여 훈련함으로써 이를 완화하려 시도합니다. 그러나 이러한 약한 라벨은 종종 객체 경계와 모양에 대한 모호성을 야기하여 모델이 구조적 안내 없이 일관된 분할을 생성하기 어렵게 만듭니다.

Segment Anything Model(SAM) 과 같은 파운데이션 모델은 간단한 프롬프트에서 고품질 의사 레이블을 생성함으로써 WSSS 를 재편성했지만, 상당한 한계에 직면해 있습니다. 표준 SAM 은 고정된 사전 훈련 가중치에 의존하여 도메인 이동 (예: 의료 영상) 에 어려움을 겪으며, 도메인별 지식이나 이질적인 약한 라벨을 통합할 수 있는 원칙적인 메커니즘이 부족합니다. 현재 접근 방식들은 공간 및 의미론적 구조에 대한 일반적인 추론 메커니즘보다는 휴리스틱 프롬프트 설계에 의존하는 경우가 많습니다.

방법론

저자들은 이러한 격차를 해결하기 위해 미분 가능한 퍼지 논리를 심층 분할 모델과 통합하는 뉴로심볼릭 프레임워크를 제안합니다. 이 방법은 2 단계 파이프라인으로 작동합니다:

1. 논리 기반 파운데이션 모델 미세 조정

첫 번째 단계에서 Segment Anything Model(SAM) 은 약한 주석과 구조적 사전 지식에서 유도된 미분 가능한 퍼지 논리 제약 조건을 충족하도록 미세 조정됩니다.

• 뉴로심볼릭 공식화: 약한 주석 (바운딩 박스, 스크래블) 과 도메인 사전 지식 (부드러움, 초픽셀 경계, 기하학적 모양) 은 연속적인 논리 제약 조건으로 통합됩니다.
• 미분 가능한 논리: 논리식을 엄격한 참/거짓 진술로 취급하는 대신, 이 방법은 곱셈 t-노름 (product t-norm) 시맨틱스를 사용하여 이를 연속 함수로 완화합니다. 이를 통해 논리적 만족 확률을 표준 경사 기반 최적화기를 사용하여 엔드 투 엔드로 최적화할 수 있습니다.
• 제약 조건 유형:
  • 약한 감독: 스크래블 (픽셀 수준 일관성), 바운딩 박스 (각 행/열에 대상 클래스가 포함되도록 하는 엄격성 제약), 그리고 배경 제외.
  • 비지도 구조적 사전 지식: 부드러움 (이웃 일관성, 영역 채우기), 초픽셀 경계 (초픽셀 내 라벨 변경에 대한 패널티), 그리고 도메인별 기하학적 사전 지식 (예: 시신경 유두와 같은 원형 의료 구조를 위한 "코너 제약").
• 훈련: SAM 의 이미지 인코더는 고정된 채로 유지하면서 마스크 디코더만 미세 조정합니다. 모델은 공식이 충족될 확률의 음의 로그 가능도인 의미 손실을 최소화하여 정제된 구조적 일관성 의사 마스크를 생성합니다.

2. 의사 레이블 감독 훈련

두 번째 단계에서 논리 기반 SAM 이 생성한 정제된 의사 레이블은 정답 (ground truth) 으로 간주됩니다. 표준 프롬프트 없는 분할 네트워크 (예: DeepLabV2 또는 Mask2Former) 는 이러한 의사 레이블을 사용하여 기존 교차 엔트로피 손실로 처음부터 훈련됩니다. 이를 통해 인간 프롬프트 없이 배포 가능한 최종 모델이 도출됩니다.

주요 기여

1. 뉴로심볼릭 공식화: 이 논문은 미분 가능한 퍼지 논리를 사용하여 WSSS 를 공식화하여 이질적인 감독 신호 (박스, 스크래블) 와 구조적 사전 지식을 단일 최적화 목표로 통합하는 방식을 제시합니다.
2. 일반화된 훈련 체계: 휴리스틱 프롬프트 엔지니어링을 넘어, 여러 약한 주석 유형과 사전 지식을 통합하도록 파운데이션 모델 (SAM) 을 미세 조정하는 방법입니다.
3. 경험적 검증: 추론 기반 학습이 더 높은 품질의 의사 레이블을 생성하고, 밀집 감독 기준선 (baselines) 을 종종 능가하는 최첨단 (SOTA) 분할 정확도를 달성함을 입증했습니다.

실험 결과

이 프레임워크는 Pascal VOC 2012(자연 이미지) 와 REFUGE2(시신경 유두/컵 분할을 위한 망막 안저 이미지) 에서 평가되었습니다.

• Pascal VOC 2012:

  • 의사 레이블 품질: 논리 기반 미세 조정은 의사 레이블에서 94.5% mIoU를 달성하여 프롬프트 기반 기준선 (예: 박스 프롬프트 SAM 의 91.5%) 을 크게 앞섰습니다.
  • 최종 분할: 두 번째 단계의 Mask2Former 모델은 테스트 세트에서 89.1% mIoU를 달성하여 완전 감독 Mask2Former 기준선 (86.1%) 과 모든 다른 WSSS 방법을 능가했습니다.
  • 애블레이션: 스크래블 또는 경계 제약 조건을 제거하면 성능이 가장 크게 저하되어 이들의 중요한 역할을 강조했습니다.

• REFUGE2(의료 영상):

  • 적응성: 제로샷 MedSAM 은 성능이 낮았습니다 (평균 Dice 47.7%). 약한 라벨 (박스와 점) 만을 사용한 논리 기반 미세 조정은 성능을 **평균 Dice 87.5%**로 향상시켜 완전 감독 MedSAM 상한선 (88.7%) 에 근접했습니다.
  • 최종 성능: 이러한 의사 레이블로 훈련된 두 번째 단계 네트워크는 **평균 Dice 87.1%**를 달성하여 완전 감독 ResUNet(86.5%) 을 능가했으며, 더 작은 구조 (시신경 컵) 를 분할하는 데 뚜렷한 이점을 보였습니다.

중요성과 주장

이 논문은 미분 가능한 퍼지 논리를 파운데이션 모델과 통합함으로써 심층 네트워크의 유연성과 심볼릭 추론의 해석 가능성 사이의 격차를 해소한다고 주장합니다. 약한 단서에 논리 제약 조건을 근거로 함으로써, 모델은 주석에 적합할 뿐만 아니라 고수준의 공간 및 관계적 사전 지식을 충족하도록 학습합니다.

저자들은 이 접근 방식이 다음과 같다고 주장합니다:

• 제로샷 파운데이션 모델이나 표준 약한 감독 파이프라인이 생성한 것보다 더 높은 품질의 의사 레이블을 생성합니다.
• 픽셀 단위의 완벽한 정답이 필요 없는 적응 단계 동안 약한 감독만을 사용하여 파운데이션 모델이 분포 외 도메인 (의료 영상 등) 에 적응할 수 있게 합니다.
• 밀집 감독으로 훈련된 모델의 성능을 종종 능가하는 표준 벤치마크에서 최첨단 (SOTA) 성능을 달성합니다.

이 논문은 한계를 인정하며, 프레임워크의 최상위 성능은 전문가 지식이 필요할 수 있는 도메인별 논리 제약 조건에 의존한다고 지적합니다. 또한 향후 연구는 이러한 제약 조건을 자동으로 생성하기 위해 대규모 언어 모델 (LLM) 을 사용하거나 이미지 수준 태그와 같은 더 약한 감독 신호로 접근 방식을 확장하는 것을 탐구할 수 있다고 제안합니다.