What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers

이 논문은 비전 트랜스포머의 위치 편향을 줄이기 위해 ALiBi 상대적 위치 인코딩을 도입하여 미세구조 이미지와 같은 방향성이 없는 도메인에서도 효과적으로 작동하는 편향 없는 특징을 추출하는 방법을 제시합니다.

핵심

🦕 "다이노가 본 것": 비전 트랜스포머의 '편견'을 고친 새로운 방법

이 논문은 컴퓨터가 이미지를 볼 때 겪는 아주 재미있고 중요한 실수를 발견하고, 이를 해결한 이야기입니다. 마치 컴퓨터가 이미지를 볼 때 "왼쪽은 무조건 중요하고, 오른쪽은 중요하지 않아"라고 착각하는 버그를 발견하고 고친 셈이죠.

이 내용을 일반인도 쉽게 이해할 수 있도록 비유와 함께 설명해 드릴게요.

---

1. 문제: 컴퓨터는 '위치'를 너무 좋아해요 (편향의 발견)

우리가 사진을 찍을 때, 카메라는 사진의 왼쪽, 오른쪽, 위, 아래를 구분하지 않고 그냥 '사물'로 인식합니다. 하지만 최신 인공지능 모델인 비전 트랜스포머 (ViT, 특히 DINOv2) 는 조금 다릅니다.

• 비유: 이 모델은 마치 학교 교실의 좌석 배치를 기억하는 학생 같아요.
  • "아, 이 학생은 1 번 좌석에 앉았으니 '수학 천재'겠지!"
  • "저 학생은 10 번 좌석에 앉았으니 '공부 안 하는 아이'겠지!"
  • 실제로 그 학생이 어떤 사람인지 (이미지의 내용) 보지 않고, 앉은 자리 (위치) 만 보고 판단하는 거죠.

이 모델은 이미지를 조각내어 분석할 때, 이미지의 내용 (예: 강아지, 배터리, 금속 구조) 보다는 그 조각이 이미지에서 '어디에 있는지'에 더 민감하게 반응합니다. 이를 '위치 편향 (Positional Bias)' 이라고 합니다.

• 왜 문제일까?
  • 자연 사진 (강아지, 꽃) 은 괜찮습니다. 강아지는 보통 중앙에 있으니까요.
  • 하지만 과학 사진 (현미경 사진, 배터리 내부 구조) 은 다릅니다. 재료는 균일하게 퍼져 있고 방향이 없습니다.
  • 그런데 컴퓨터는 "아, 이 부분은 이미지의 왼쪽 하단이라서 '구멍'이겠지"라고 엉뚱하게 판단합니다. 실제 내용과 상관없이 위치만 보고 오답을 내는 것입니다.

2. 해결책: "알리비 (ALiBi)"라는 새로운 나침반

연구진들은 이 문제를 해결하기 위해 모델의 뇌 (학습된 위치 정보) 를 갈아엎고 새로운 나침반을 달아주기로 했습니다.

• 기존 방식 (학습된 위치 정보):
  • 모델이 처음에 "왼쪽은 1, 오른쪽은 100"이라고 외워버린 방식입니다. 이걸 고치려고 노력해도 모델이 그 버릇을 버리지 못했습니다.
• 새로운 방식 (ALiBi - Attention with Linear Biases):
  • 이 방식은 "절대적인 좌표 (1 번 좌석, 2 번 좌석)"를 외우는 대신, **"내 옆에 있는 친구와 얼마나 가까운가?"**라는 상대적인 거리만 기억하게 합니다.
  • 비유:
    • 기존: "나는 3 번 좌석에 앉았으니 중요해!" (절대적)
    • 새로운 (ALiBi): "나는 내 옆 친구와 1 칸 떨어져 있으니 중요해!" (상대적)
  • 이렇게 하면 이미지가 어디에 있든, 물체끼리의 관계만 보게 되어 위치 편향이 사라집니다.

3. 실험: "다이노 (DINO)"를 다시 가르치다

연구진들은 이미 잘 훈련된 거대 모델 (DINOv2) 을 가져와서, 기존의 '좌석 번호'를 지우고 '상대적 거리'만 기억하게 하는 ALiBi 나침반을 달아주었습니다.

• 결과:
  • 모델은 여전히 강아지, 자동차, 배터리를 잘 알아봅니다. (의미 있는 정보는 유지됨)
  • 하지만 이제 이미지의 왼쪽이나 오른쪽에 있는 것과 상관없이 똑같이 판단합니다. (편향 제거됨)
  • 마치 안경을 고쳐 쓴 사람처럼, 이제 사물의 본질을 더 선명하게 보게 된 것입니다.

4. 실제 효과: 재료 과학의 혁신

이 기술이 왜 중요한지 재료 과학 (배터리, 금속 등) 에 비유해 볼까요?

• 상황: 연구원들이 배터리의 미세한 구조를 분석하려고 합니다. 배터리 내부의 구멍 (기공) 은 무작위로 퍼져 있습니다.
• 기존 모델의 실수: "아, 이 이미지의 아래쪽에 구멍이 많겠지"라고 위치를 보고 예측해서, 실제 구멍이 없는 곳까지 구멍으로 표시해 버립니다. (이걸 '위치 편향'이라고 합니다.)
• 새로운 모델의 성과: "위치 상관없이, 실제로 구멍처럼 보이는 부분만 구멍으로 표시합니다."
• 결론: 연구원들은 이제 더 정확한 배터리 수명 예측과 성능 분석을 할 수 있게 되었습니다.

5. 요약: 이 논문이 우리에게 주는 메시지

1. 컴퓨터도 편견이 있어요: 최신 AI 모델도 이미지의 '위치'에 따라 편향된 판단을 할 수 있습니다.
2. 상대적인 것이 더 중요해요: 절대적인 좌표보다는 '주변과의 관계'를 보는 것이 더 공정하고 정확한 판단을 돕습니다.
3. 과학적 발견을 돕습니다: 이 기술을 통해 자연 사진뿐만 아니라, 균일한 과학적 이미지 (현미경 사진 등) 도 더 정확하게 분석할 수 있게 되었습니다.

한 줄 요약:

"컴퓨터가 이미지를 볼 때 **'어디에 있느냐'보다 '무엇이 있느냐'**에 집중하도록, AI 의 나침반을 고쳐주었습니다."

이 연구는 인공지능이 더 공정하고 정확하게 세상을 볼 수 있도록 돕는 중요한 한 걸음입니다! 🚀

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 트랜스포머 (ViT), 특히 DINOv2 와 같은 특징 기반 모델 (Feature Foundation Models) 은 다양한 하위 작업에 유용한 풍부한 표현을 학습합니다. 그러나 이러한 모델들은 시맨틱 (semantic) 내용과 무관하게 위치 편향 (Positional Bias) 을 보이며, 이는 특징 맵에 인위적인 아티팩트 (artifacts) 를 생성합니다.
• 문제점:
  • 재료 과학 이미지의 특수성: 재료 과학 (예: 전자 현미경 SEM/TEM 이미지) 에서는 이미지가 종종 균질한 단면 (homogeneous cross-sections) 이며, 자연 이미지와 달리 선호되는 방향이나 중심이 없습니다.
  • 편향의 영향: DINOv2 와 같은 모델은 학습된 위치 인코딩 (Learned PE) 으로 인해 이미지의 좌우 또는 상하 방향에 따른 경사 (ramp) 형태의 편향을 특징에 포함합니다. 이는 균질한 재료 이미지의 경우 의미 있는 특징을 왜곡하고, 학습 가능한 분할 (Trainable Segmentation) 과 같은 작업에서 성능 저하를 초래합니다.
  • 기존 해결책의 한계: 기존에 제안된 '레지스터 토큰 (register tokens)' 추가나 '디노이징 (denoising)' 네트워크는 편향을 완전히 제거하지 못하거나, 오히려 다른 방향의 편향을 강화하는 등의 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 ViT 의 위치 편향을 정량화하고 이를 해결하기 위해 ALiBi (Attention with Linear Biases) 위치 인코딩을 적용한 DINOv2 파인튜닝 모델을 제안했습니다.

• 편향 분석 (Positional Linear Probing):

  • 다양한 ViT 모델 (DINO, DINOv2, DINOv3, MAE 등) 의 출력 특징에 대해 선형 프로브 (Linear Probing) 를 수행했습니다.
  • 특징 채널들이 입력 이미지의 공간적 위치 (좌우, 상하, 대각선, 방사형) 와 얼마나 선형적으로 상관관계가 있는지 ($R^2$ 점수) 를 측정했습니다.
  • 결과: DINO 계열 모델 (학습된 PE 사용) 과 RoPE 를 사용하는 DINOv3 에서도 특정 채널들이 순수한 위치 함수 (ramp functions) 로 작동하여 높은 편향 점수를 보임을 확인했습니다. 반면, 지도 학습 (Supervised) ViT 는 편향이 현저히 낮았습니다.

• ALiBi-Dv2 모델 개발:

  • ALiBi 적용: 학습된 위치 인코딩을 제거하고, ALiBi 위치 인코딩을 도입했습니다. ALiBi 는 토큰 간 상대적 거리에 비례하는 선형 편향을 어텐션 점수에 직접 추가하여 위치 정보를 인코딩합니다.
  • 2D 인식 및 경계 조건: 이미지 처리에 적합하도록 유클리드 거리를 사용하며, 원통형 경계 조건 (cylindrical boundary conditions) 을 적용하여 거리 행렬의 비대칭성을 방지했습니다.
  • 파인튜닝 전략:
    • 기존 DINOv2 의 편향된 임베딩을 '교사 (Teacher)'로 사용하여 파인튜닝했습니다. 이는 원본 모델의 우수한 시맨틱 정보를 유지하면서도, ALiBi 구조가 편향을 표현하는 것을 물리적으로 제한하기 위함입니다.
    • 학습 중 가장 편향이 큰 4 개의 채널을 0 으로 설정 (Zeroing) 하여 편향을 추가로 억제했습니다.
    • COCO-Stuff 데이터셋을 사용하여 학습했으며, 다중 스케일 (multiscale) 학습을 통해 길이 일반화 (length generalization) 능력을 향상시켰습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

• 편향의 정량적 규명:

  • DINOv2, DINOv3, MAE 등 다양한 자기지도학습 (SSL) 모델이 학습된 PE 나 RoPE 와 관계없이 강한 위치 편향을 가진다는 것을 선형 프로브를 통해 처음 체계적으로 증명했습니다.
  • 편향은 모델의 레이어 깊이에 따라 다르게 나타남을 발견했습니다 (DINOv2 는 초기 레이어에서 강하지만 감소, DINOv3 는 레이어가 깊어질수록 증가).

• ALiBi-Dv2 의 성능 향상:

  • 편향 제거: ALiBi-Dv2 는 모든 채널과 레이어에서 위치 편향 점수 ($R^2$) 를 극적으로 낮췄습니다 (예: 마이크로그래프 데이터셋에서 0.83 → -0.23).
  • 시맨틱 유지: VOC, ADE20K 와 같은 표준 분할 벤치마크에서 선형 프로브 성능을 유지하거나 오히려 향상시켰습니다. 이는 편향이 제거되어도 모델이 여전히 강력한 시맨틱 정보를 유지함을 의미합니다.
  • 특징의 균질성 (Homogeneity): PCA 시각화 결과, ALiBi-Dv2 는 DINOv2 나 DVT(디노이징 모델) 에 비해 위치 경사 (positional gradients) 가 없는 균일한 특징 맵을 생성했습니다.

• 재료 과학 적용 (Trainable Segmentation):

  • 배터리 전극 (리튬이온 배터리) 과 같은 복잡한 미세 구조 이미지에 대한 '학습 가능한 분할' 작업에서 ALiBi-Dv2 가 압도적인 성능을 보였습니다.
  • 기존 DINOv2 는 이미지의 위치 (중앙, 하단 등) 에 따라 클래스를 잘못 예측하는 편향을 보였으나, ALiBi-Dv2 는 균질한 특징 덕분에 정확한 분할을 수행했습니다. 특히 '기공-백 (pore-back)' 효과와 같은 복잡한 구조를 정확하게 식별했습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 자기지도학습의 일반적 특성 규명: 위치 편향이 DINO 특유의 문제가 아니라, 자기지도학습 (SSL) 모델의 보편적인 특성일 수 있음을 시사하며, 이를 해결하기 위한 새로운 접근법을 제시했습니다.
• 재료 과학 및 균질 이미지 분석의 혁신: 자연 이미지 중심의 기존 ViT 모델이 가진 한계를 극복하고, 균질한 미세 구조를 가진 재료 과학 이미지에 대한 오프더셸 (off-the-shelf) 분석 및 저데이터 (low-data) 분할 작업의 정확도를 획기적으로 높였습니다.
• 실용적 가치: 학습된 위치 인코딩을 ALiBi 로 교체하고 파인튜닝하는 비교적 간단한 방법론을 통해, 기존 대규모 모델의 장점을 유지하면서 구조적 편향을 제거할 수 있음을 증명했습니다. 이는 향후 의료 영상, 위성 이미지 등 다양한 분야에서 편향 없는 특징 추출을 위한 표준으로 자리 잡을 수 있는 가능성을 제시합니다.

요약: 이 논문은 DINOv2 와 같은 ViT 모델이 내재하고 있는 위치 편향이 재료 과학 이미지의 분석을 방해한다는 점을 발견하고, ALiBi 위치 인코딩을 도입하여 편향을 제거하면서도 시맨틱 성능을 유지한 ALiBi-Dv2 모델을 제안함으로써, 균질한 미세 구조 이미지의 자동 분할 및 분석 정확도를 크게 향상시켰습니다.