기술 요약: LVLM 을 활용한 작업 특화 비전 모델의 정렬

문제 제기

의료 및 제조와 같은 고위험 분야에서는 계산 요구 사항이 낮고 설명 가능성 방법이 확립되어 있다는 이유로 대규모 시각 언어 모델 (LVLM) 보다 작고 작업 특화적인 비전 모델이 선호되는 경우가 많습니다. 그러나 이러한 모델들은 종종 인간의 도메인 지식과 정렬되지 못합니다. 견고한 핵심 특징을 학습하는 대신, 훈련 데이터에 존재하는 **허위 상관관계 (shortcuts)**에 의존하는 경향이 있습니다. 설명 가능한 AI(XAI) 기법은 이러한 단축키를 식별할 수 있지만, 생성된 히트맵을 도메인 전문가가 해석하기는 어렵습니다. furthermore, 이러한 모델을 수정하기 위한 기존 방법들은 전문가들로부터 세밀한 인스턴스별 피드백(예: 픽셀 수준의 마스크) 을 요구하는데, 이는 의료 의사 같은 전문직 종사자들에게는 지나치게 시간이 소요되는 문제입니다.

방법론: LVLM 지원 시각 정렬 (LVLM-VA)

저자들은 LVLM 의 일반화 능력을 활용하여 인간의 도메인 지식과 모델 행동 간의 양방향 번역기로 작용하는 새로운 2 단계 접근법인 LVLM-VA를 제안합니다. 이 방법은 세밀한 주석이 필요 없이 작은 비전 모델을 인간의 명세와 정렬시킵니다.

1. 허위 상관관계 탐지

이 과정은 모델이 단축키에 의존하는 훈련 샘플을 식별하는 것으로 시작합니다.

• 샘플링 전략: 전체 데이터셋을 처리하는 대신, 이 방법은 출력 엔트로피에 기반한 비지도 샘플링 전략을 사용합니다. 저자들은 모델이 견고한 특징보다 단축키를 더 쉽게 학습하여 단축키 의존성 샘플에서 더 낮은 출력 엔트로피를 보인다고 가정합니다. 정렬 데이터셋 ($D_{align}$) 은 가장 낮은 엔트로피를 가진 $N$개의 샘플로 구성됩니다.
• PPEPS-WGM (가중 가우시안 혼합을 통한 긍정적 예측 효과 확률적 분할): LVLM 의 분석을 용이하게 하기 위해, 이 방법은 설명 지도 (DeepLIFT-SHAP 사용) 를 생성하고 맞춤형 분할 기법을 적용합니다. 객체 경계를 따르는 표준 분할 (예: SAM) 과 달리, PPEPS-WGM 은 긍정적 예측 효과에 기반하여 영역을 클러스터링합니다. 이는 긍정적 귀속 (attribution) 분포에 가중 가우시안 혼합을 적합시켜, 객체 경계와 무관하게 모델 예측에 가장 큰 영향을 미치는 영역으로 분할을 유도합니다.
• 비평가 (Critic) 및 판정자 (Judge) 페어:
  • 비평가 (LVLM): 원본 이미지, 정답 레이블, 클래스 수준의 인간 명세 ($V_k$), 그리고 PPEPS-WGM 분할 지도를 받습니다. 체인 오브 씽킹 (Chain-of-Thought) 프롬프트를 사용하여 비평가는 특정 클러스터가 관련 핵심 특징에 해당하는지 아니면 허위 단축키 (예: 병원 태그 또는 색상이 있는 붕대) 에 해당하는지 분석합니다.
  • 판정자 (LLM): 비평가의 자유 형식 추론을 받아 각 클러스터에 대한 이진 판정 ($R_j$) 으로 매핑하여 허위인지 여부를 결정합니다. 이 단계는 자동화된 훈련을 위해 출력을 표준화합니다.

2. 시각 정렬

허위 클러스터가 식별되면, 이 방법은 올바른 이유로 올바른 것 (Right for the Right Reasons, RRR) 손실 함수를 사용하여 모델을 수정합니다.

• 수정 마스크: 판정자로부터의 이진 판정은 자동으로 인스턴스별 수정 마스크 ($A$) 로 변환됩니다. 허위로 간주된 클러스터에 속하는 픽셀은 마스킹됩니다.
• 훈련: 원래 모델은 표준 교차 엔트로피 손실과 RRR 손실의 조합을 사용하여 미세 조정됩니다. RRR 손실은 허위로 식별된 영역에서의 기울기를 패널티하여 모델이 관련 특징에 의존하도록 강제합니다.
• 효율성: 이 과정은 수동 인스턴스별 마스크 생성의 필요성을 제거하며, 인간 전문가로부터 고수준 클래스 설명만 요구합니다.

주요 기여

1. LVLM-VA 프레임워크: LVLM 을 통해 클래스 수준의 인간 명세를 인스턴스별 수정으로 변환함으로써 작은 비전 모델을 인간의 도메인 지식과 정렬시키는 새로운 접근법.
2. PPEPS-WGM: 시각적 객체 경계가 아닌 긍정적 예측 효과에 기반하여 클러스터링함으로써 허위 특징 탐지를 지원하도록 특별히 설계된 분할 방법.
3. 감소된 인간 노력: 이 방법은 세밀한 피드백 없이도 확장 가능한 클래스 수준 설명에 의존하여 효과적인 정렬을 달성할 수 있음을 보여줍니다.

실험 결과

저자들은 세 가지 데이터셋에서 LVLM-VA 를 평가했습니다: 합성 DecoyMNIST 데이터셋과 두 가지 실제 의료 데이터셋 (ISIC 피부 병변 및 무릎 골관절염 방사선 사진).

• 합성 환경 (DecoyMNIST): 이 방법은 모델의 주의를 인공적인 허위 미끼 (회색 패치) 에서 실제 숫자로 성공적으로 전환시켰습니다. 정렬 지표는 모델의 귀속 질량이 관련 특징으로 크게 이동하여 정답 인스턴스별 마스크로 훈련된 모델의 성능에 근접했음을 보여주었습니다.
• 의료 데이터셋:
  • 피부 병변: 모델은 훈련 세트에서는 악성과 상관관계가 있었으나 테스트 세트에서는 그렇지 않은 색상이 있는 붕대 (허위 특징) 를 무시하도록 학습했습니다.
  • 무릎 방사선 사진: 모델은 훈련 데이터에서 특정 무릎 상태와 상관관계가 있었던 병원 태그 (L/R 마커) 를 무시하도록 학습했습니다.
• 성능 지표: 두 의료 데이터셋 전반에 걸쳐 LVLM-VA 는 허위 상관관계에 대한 견고성을 위한 표준 지표인 **최악 그룹 정확도 (WGA)**를 크게 향상시켰으며, **평균 그룹 정확도 (AGA)**는 유지하거나 약간 향상시켰습니다.
• 비교: LVLM-VA 는 서브샘플링 그룹 (SUBG), 딥 특징 재가중 (DFR), 그리고 저스트 트레인 투스 (JTT) 와 같은 비인간 중심 기준 방법들보다 성능이 우수했습니다. SUBG 는 WGA 를 향상시켰지만 전체 정확도를 심각하게 저하시켰습니다. LVLM-VA 는 전체 성능을 희생하지 않고 WGA 를 향상시킨 유일한 방법이었습니다.
• 사용자 연구: 18 명의 도메인 전문가를 대상으로 한 연구는 LVLM 의 허위 클러스터 식별에 대해 88% 의 일치율을, LVLM 의 추론에 대해 87% 의 일치율을 보여 이 방법이 인간의 기대와 정렬되어 있음을 입증했습니다.

중요성 및 주장

이 논문은 LVLM-VA 가 생성형 AI(LVLM) 와 판별형 작업 특화 모델 간의 상호 보완적 인터페이스를 제공한다고 주장합니다. 인간의 도메인 지식을 자연어로 변환한 후 인스턴스 수준의 비판으로 전환함으로써, 이 방법은 전문가들이 픽셀 수준 주석의 prohibitive 한 비용 없이도 모델을 효과적으로 유도할 수 있게 합니다.

저자들은 이 접근법이 허위 특징과 그룹별 편향에 대한 의존성을 줄임으로써 실세계에 배포된 모델의 "취약한 행동"을 해결한다고 강조합니다. 그들은 LVLM-VA 를 해석 가능성과 신뢰가 최우선인 고위험 분야를 위한 실용적인 해결책으로 위치시키며, 광범위한 수동 피드백이나 순수한 통계적 그룹 균형에 의존하는 기존 방법들에 대한 확장 가능한 대안을 제시합니다. 이 방법은 다양한 LVLM(오픈소스 모델 포함) 에 적응 가능하며, 클러스터 수와 같은 하이퍼파라미터의 변화에도 견고한 것으로 나타났습니다.