기술 요약: 의미 무관 및 형태 인식 비전 - 언어 분할 모델을 향한 접근

1. 문제 제기

최근 비전 - 언어 모델 (VLM) 의 발전은 자연어 지시를 기반으로 한 분할 작업을 가능하게 했습니다. 그러나 현재 최첨단 모델들 (예: LISA, GSVA) 은 COCO 나 LVIS 와 같은 표준 데이터셋에 포함된 고수준 의미 객체 카테고리 (예: "정지 표지판", "개") 에 크게 의존하고 있습니다. 이러한 의미 의존성은 중요한 한계를 초래합니다. 명시적인 의미 레이블이 부재할 때, 이러한 모델들은 모양, 기하학, 질감, 또는 색상과 같은 고유한 시각적 속성에 대해 추론하는 데 어려움을 겪습니다.

결과적으로 기존 VLM 들은 비의미 쿼리를 효과적으로 처리하지 못합니다. 예를 들어, 주로 의미 카테고리로 훈련된 모델은 "정지 표지판"과 같은 특정 클래스 레이블과 설명을 일치시킬 수 없다면 "붉은 팔각형 물체"를 분할하지 못할 수 있습니다. 이러한 한계는 사전 정의된 의미 클래스 없이 시각적 속성 (예: 해부학적 제약, 특정 기하학적 모양) 에 대한 정밀한 제어가 필요한 실제 응용 분야에서 분할 모델의 일반화 능력과 제어 가능성을 제한합니다.

2. 방법론

저자들은 의미 카테고리 대신 형태, 색상, 질감, 공간적 속성과 같은 지각적 설명에 기반하여 객체를 분할해야 하는 새로운 패러다임인 SANSA(Semantic-Agnostic aNd Shape-Aware, 의미 무관 및 형태 인식) 분할을 도입했습니다. 이 방법론은 두 가지 주요 단계로 구성됩니다:

A. SANSA 분할 프롬프트 생성

의미 무관 데이터셋의 부재를 해결하기 위해, 저자들은 설명용 VLM(InternVL 2.5) 을 사용하여 분할 프롬프트를 생성하는 자동화 파이프라인을 제안합니다. VLM 이 의미 정보 (예: 객체 명명) 를 유출하는 것을 방지하기 위해 두 가지 상호 보완적인 전략이 사용됩니다:

1. DISP(사전 기반 분할 프롬프트):

   • 제약: 설명용 VLM 은 사전 정의된 의미 무관 속성 (색상, 질감, 모양, 패턴, 조명, 연결부) 의 사전에서 토큰만을 생성하도록 강제됩니다.
   • 후처리: 외부 LLM(Mistral 7B) 이 사전 제약된 출력을 유창한 자연어 분할 프롬프트로 재구성하되, 원래의 지각적 제약을 엄격하게 유지합니다.
   • 입력 전처리: 맥락적 의미 유출을 최소화하기 위해 대상 객체를 이진 마스크를 사용하여 잘라낸 후 VLM 에 입력합니다.

2. EXSP(예시 기반 분할 프롬프트):

   • 가이드: 고정된 사전 대신, VLM 은 지시 프롬프트 내에서 긍정적 예시 (의미 무관 설명) 와 부정적 예시 (의미 단어가 포함된 설명) 로부터 가이드를 받습니다.
   • LLM-as-a-Judge(LLMJ) 필터링: EXSP 전략은 제약이 없으므로, 별도의 LLM 이 텍스트만으로 생성된 설명을 "의미" 또는 "의미 무관"으로 분류하는 필터링 단계가 적용됩니다. 의미 정보를 포함하는 것으로 식별된 설명은 데이터셋에서 제거됩니다.

B. 모델 파인튜닝

저자들은 생성된 SANSA 프롬프트를 사용하여 최첨단 분할 VLM 인 LISA 7B를 파인튜닝합니다.

• 아키텍처: 분할 토큰과 비전 디코더를 생성하는 다중 모달 모델 (LLaVA) 을 파인튜닝하기 위해 LoRA(Low-Rank Adaptation) 를 사용합니다.
• 손실 함수: 훈련은 픽셀 단위 이진 교차 엔트로피 (BCE) 와 Dice 손실의 가중 조합을 활용합니다.
• 데이터: SANSA 프롬프트로 변환된 COCO 의 하위 집합 (1 만 장 이미지) 으로 모델을 훈련하며, 홀드아웃 테스트 세트와 수동 큐레이션된 "Human Prompt(HP)"세트에서 평가를 수행합니다.

3. 주요 기여

• SANSA 분할 패러다임: 의미 객체 카테고리 없이 시각적 속성 (모양, 기하학, 색상, 질감) 에만 의존하는 분할 작업의 도입.
• 자동화된 프롬프트 생성 전략: 비의미 설명에 대한 수동 주석의 어려움을 극복하기 위해 의미 무관 분할 프롬프트를 생성하는 두 가지 확장 가능한 전략 (DISP 및 EXSP) 제안.
• 성능 향상: 사전 훈련된 모델에 비해 SANSA 프롬프트로 파인튜닝한 것이 비의미 작업에서 분할 정확도를 크게 향상시키면서도 표준 의미 작업에서의 성능은 유지함을 입증.

4. 실험 결과

COCO 데이터셋의 하위 집합 (2 천 장 테스트 이미지) 과 Human Prompt(HP) 세트 (160 장 이미지) 에서 실험을 수행했습니다.

• 정량적 성능:
  • 파인튜닝된 SANSA 모델은 사전 훈련된 최첨단 모델 (LISA, GSVA, PolyFormer) 에 비해 SANSA 작업에서 최대 20% 의 mIoU 향상을 달성했습니다.
  • EXSP 전략은 자동 테스트 세트에서 37.46%, HP 에서 42.98% 로 가장 높은 평균 mIoU 를 기록하여, 인간이 작성한 의미 무관 설명에 잘 일반화되는 프롬프트를 생성함을 시사합니다.
  • DISP 전략은 특히 필터링된 EXSP+LLMJ 테스트 세트에서 견고한 성능을 보여주어 사전 제약의 효과를 입증했습니다.
• 정성적 성능:
  • 사전 훈련된 모델 (LISA, GSVA) 은 "붉은 팔각형 물체를 분할하라"와 같은 의미 무관 프롬프트를 해석하지 못해, 종종 대상 분할에 실패하거나 잘못된 객체를 분할했습니다.
  • 파인튜닝된 SANSA 모델은 모양과 색상 설명만으로 객체를 정확하게 분할했습니다.
• 견고성 및 일반화:
  • 의미 보존: SANSA 프롬프트로 파인튜닝한 것은 원래 의미 분할 작업의 성능을 저하시키지 않았습니다. 표준 의미 프롬프트에서의 mIoU 는 사전 훈련된 LISA 기준선과 비교 가능했습니다 (1% 미만의 감소).
  • 필터링 효과성: LLMJ 필터는 EXSP 프롬프트 내 의미 유출을 탐지하는 데 82.5% 의 정확도와 94% 의 정밀도를 달성했습니다.

5. 의의

본 논문은 VLM 에서 의미 정렬에 대한 현재의 의존성이 고유한 시각적 속성에 대한 추론 능력을 제한한다고 주장합니다. 저수준 및 중수준 시각적 추론에 초점을 이동시킴으로써, SANSA 분할은 모델을 더 일반화 가능하고 제어 가능하게 만들 수 있음을 보여줍니다.

저자들은 의미 레이블이 없거나 불충분하거나, 연결 구성 요소의 수나 특정 기하학적 제약과 같은 분할 속성에 대한 정밀한 제어가 필요한 도메인에서 이 접근법이 특히 유용하다고 강조합니다. 이 연구는 VLM 을 의미 중심 이해를 넘어 확장하여 순전히 지각적 설명에서도 효과적으로 작동할 수 있는 기반을 마련합니다.