🤖 AI

Two-stage Vision Transformers and Hard Masking offer Robust Object Representations

이 논문은 학습된 바이너리 어텐션 마스크를 사용하여 두 단계의 비전 트랜스포머가 객체 인식에 필요한 컨텍스트는 활용하면서도 불필요한 배경 노이즈는 차단하여 강건한 객체 표현을 학습하는 새로운 프레임워크를 제안합니다.

원저자: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Diego Marcos

게시일 2026-04-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Diego Marcos

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"AI 가 물체를 볼 때, 배경에 속아 넘어가지 않고 진짜 물체만 집중해서 보게 만드는 새로운 방법"**을 소개합니다.

기존의 AI 는 물체를 인식할 때 물체 자체뿐만 아니라 그 배경 (예: 개가 풀밭에 있으면 풀을 보고 개라고 추측) 에도 너무 의존하는 경향이 있습니다. 이렇게 되면 풀밭이 아닌 눈밭에 있는 개를 보면 AI 가 "이건 개가 아니야"라고 잘못 판단할 수 있습니다.

저자들은 이 문제를 해결하기 위해 **"두 단계로 나누어 생각하는 AI"**를 개발했습니다. 이를 일상적인 비유로 설명해 드릴게요.

🕵️‍♂️ 비유: "현장 조사관"과 "전문 판사"

이 새로운 AI 는 두 명의 직원이 팀을 이루어 일하는 것처럼 작동합니다.

1 단계: 현장 조사관 (Stage 1 - Selector)

역할: 전체 사진 (배경 포함) 을 처음부터 끝까지 훑어봅니다.
작업: "여기서 진짜 중요한 건 뭐지?"를 찾아냅니다. 예를 들어, 사진에 '개'가 있고 배경에 '풀밭'이 있다면, 조사관은 **"개만 있는 부분"**을 딱 잘라내어 마스킹 (가림막) 을 씌웁니다. 풀밭은 아예 보이지 않게 가려버리는 거죠.
특징: 이 조사관은 배경에 속지 않도록 훈련받아서, 오직 '물체'만 골라냅니다.

2 단계: 전문 판사 (Stage 2 - Predictor)

역할: 조사관이 가져온 **'가려진 사진'**만 봅니다.
작업: 배경이 완전히 가려져 있기 때문에, 판사는 "배경에 속을 수 있는 기회"가 아예 없습니다. 오직 조사관이 가져온 '개' 부분만 보고 "이건 개 맞다!"라고 결론을 내립니다.
결과: 설령 배경이 눈밭이든, 바다든, 풀밭이든 판사는 그걸 볼 수 없으므로 오직 개 자체의 특징만 보고 판단하게 됩니다.

💡 왜 이 방법이 특별한가요?

기존의 방법들은 **"판사가 판결을 내린 뒤에, '아, 내가 배경을 너무 많이 봤네'라고 후회하며 수정하는 방식"**이었습니다. 하지만 이미 배경을 보고 판단을 내린 뒤에는 수정이 어렵습니다.

이 논문이 제안하는 방법은 **"판사가 판결을 내리기 전에, 아예 배경을 가려버리는 것"**입니다.

조기 차단 (Early Masking): 정보가 흐르는 초기 단계에서 배경을 차단하므로, AI 가 배경에 대한 편견을 학습할 기회 자체가 없습니다.
검증 가능한 투명성: 우리가 조사관이 어떤 부분을 골랐는지 직접 볼 수 있습니다. 만약 조사관이 실수로 '배경의 풀'을 개로 잘못 골랐다면, 우리는 그 부분을 직접 지워주거나 수정해 줄 수 있습니다. (이를 '테스트 시간 개입'이라고 합니다.)

🌍 실제 효과는 어떨까요?

이 연구팀은 AI 를 여러 가지 어려운 상황 (예: 배경이 뒤바뀐 이미지, 의료 영상 등) 에 테스트했습니다.

기존 AI: 배경이 바뀌면 성능이 급격히 떨어졌습니다.
새로운 AI (iFAM): 배경이 아무리 달라져도 물체 자체에 집중하므로 성능이 매우 안정적이고 강력했습니다.

🎯 한 줄 요약

"AI 가 물체를 볼 때, 배경이라는 '소음'을 아예 차단하고 물체라는 '신호'만 듣게 하여, 어떤 상황에서도 흔들리지 않는 튼튼한 판단력을 만든 것입니다."

이 기술은 자율주행차가 비나 눈이 오는 날에도 보행자를 정확히 인식하게 하거나, 의료 AI 가 엑스레이에서 병변만 정확히 찾아내도록 도와주는 등, AI 의 신뢰성을 높이는 데 큰 역할을 할 것으로 기대됩니다.

논문 요약: 두 단계 비전 트랜스포머와 하드 마스킹을 통한 강건한 객체 표현

1. 문제 정의 (Problem)

딥러닝 모델, 특히 비전 트랜스포머 (ViT) 는 객체 인식 시 객체 자체의 특성보다는 **맥락 (Context)**에 의존하는 경향이 있습니다. 이는 훈련 데이터에서 객체와 배경 사이에 존재하는 우연한 상관관계 (Spurious Correlations) 를 학습하게 만들어, 훈련 분포와 다른 배경 (Out-of-Distribution, OOD) 이 포함된 테스트 환경에서 모델 성능이 급격히 저하되는 원인이 됩니다.

기존의 주의 (Attention) 기반 방법론들은 다음과 같은 한계가 있었습니다:

Late Masking (후기 마스킹): 고수준 특징 맵 (High-level feature map) 에 소프트 (Soft) 마스크를 적용합니다. 하지만 현대 아키텍처의 넓은 수용 영역 (Receptive Field) 으로 인해 배경 정보가 이미 특징에 오염된 상태이므로, 마스크를 적용해도 정보가 완전히 차단되지 않습니다.
소프트 어텐션: 이산적 (Discrete)이지 않은 가중치를 사용하여 모든 위치가 0 이 아닌 영향을 미치게 하므로, 배경의 잡음 (Spurious cues) 이 여전히 예측에 개입할 수 있습니다.

2. 제안 방법론: iFAM (Inherently Faithful Attention Maps)

저자들은 위 문제를 해결하기 위해 두 단계 (Two-stage) 프레임워크와 **조기 하드 마스킹 (Early Hard Masking)**을 결합한 iFAM을 제안합니다.

Stage 1: Selector (선택기)
- 전체 이미지를 입력받아 작업과 관련된 전경 (Foreground) 영역을 발견합니다.
- PDiscoFormer [2] 기반의 부분 발견 (Part Discovery) 메커니즘을 사용하여 $K$ 개의 의미론적으로 일관된 전경 부분과 배경을 구분합니다.
- 이산적 (Discrete) 이진 마스크 생성: 소프트 어텐션 맵을 Gumbel Softmax 등을 통해 이진화하여, 어떤 토큰이 선택될지 명확히 결정합니다.
Stage 2: Predictor (예측기)
- Stage 1 에서 선택된 이진 마스크에 의해 물리적으로 제한된 토큰들만을 입력으로 받습니다.
- 조기 마스킹 (Early Masking): 입력 토큰 수준에서 마스킹을 수행하여, ViT 의 자기 주의 (Self-Attention) 메커니즘이 선택되지 않은 배경 토큰과 정보 교환을 아예 못하게 합니다.
- 구현: ViT 의 어텐션 마스크 $M$ 을 사용하여, 선택되지 않은 토큰 ( $s_i=0$ ) 간의 어텐션 점수를 $-\infty$ 로 설정하여 정보 누수를 원천 차단합니다.
공동 학습 (Joint Training): 두 단계를 함께 학습시켜, Stage 2 의 분류 손실이 Stage 1 의 선택 과정을 정제하도록 유도합니다.

3. 주요 기여 (Key Contributions)

두 단계 아키텍처: 전체 이미지 처리에서 선택적 처리로 전환하여 우연한 상관관계를 완화하는 새로운 구조를 제시했습니다.
조기 하드 마스킹 메커니즘: 수용 영역을 작업 관련 영역으로 물리적으로 제한하여, 배경 정보 누수에 대한 **본질적 신빙성 (Inherent Faithfulness)**을 보장합니다.
감사 가능한 테스트 시간 개입 (Auditable Test-time Interventions): 학습된 의미론적 부분 마스크가 명시적이기 때문에, 인간이 개입하여 모델의 추론을 수정할 수 있습니다.
- Part-Removal Intervention: 학습된 부분 중 우연한 상관관계를 학습한 부분 (예: 특정 배경 요소) 을 식별하여 제거.
- Token-Removal Intervention: OOD 객체에서 낮은 신뢰도로 할당된 토큰을 제거하여 오검출 방지.

4. 실험 결과 (Results)

다양한 벤치마크 (MetaShift, Waterbirds, CUB, SIIM-ACR, ImageNet-9) 에서 기존 방법론 (ERM, GroupDRO, Late Masking 기반 방법 등) 과 비교 평가되었습니다.

강건성 향상: OOD 배경에 대한 Worst Group Accuracy (WGA) 와 배경 민감도 지표 (BG-GAP) 에서 모든 기존 방법을 크게 능가했습니다.
- 예: Waterbirds 데이터셋에서 WGA 가 97.0% (기존 최강 대비 95.8% 이상), MetaShift 에서 88.6% 를 기록했습니다.
- ImageNet-9 배경 도전 과제에서 BG-GAP(배경 의존도) 를 2.4 로 낮추어 가장 낮은 수치를 기록했습니다.
아키텍처의 중요성: "Late Masking" 방식은 성능 향상에 한계가 있었으며, "Early Masking"과 이산적 마스크 사용이 성능 향상의 핵심임을 확인했습니다 (Ablation Study).
개입 효과: 테스트 시간 개입 (Part/Token 제거) 을 적용하면 추가적인 강건성 향상 (WGA 3~4%p 상승) 을 얻을 수 있었습니다.

5. 의의 및 결론 (Significance)

이 논문은 객체 인식 모델이 배경 맥락에 의존하지 않고 객체 자체의 본질적 특징에 기반하여 학습하도록 하는 새로운 패러다임을 제시합니다.

신뢰할 수 있는 AI: 모델이 어떤 영역을 보고 판단하는지 명확히 드러나고, 이를 통해 배경 편향을 물리적으로 차단함으로써 **해석 가능성 (Interpretability)**과 **강건성 (Robustness)**을 동시에 달성했습니다.
실용적 가치: 의료 영상 (SIIM-ACR) 과 같은 민감한 분야에서 오진 요인 (예: 배수관 등) 을 제거하는 등, 실제 응용 분야에서 모델의 신뢰도를 높이는 데 기여할 수 있습니다.
한계: 두 단계 추론으로 인한 계산 비용 증가가 있으나, 추론 시 선택된 토큰만 처리함으로써 오히려 효율성을 확보할 수 있는 잠재력이 있습니다.

결론적으로, iFAM 은 맥락 편향을 해결하기 위해 **구조적 설계 (아키텍처)**와 **이산적 제어 (하드 마스킹)**를 결합하여, OOD 환경에서도 견고한 객체 표현을 학습하는 새로운 표준을 제시했습니다.