Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models

이 글은 간단한 언어와 일상적인 비유를 사용하여 해당 논문을 설명한 것입니다.

핵심 질문: AI 의 '두뇌'를 이해할 수 있을까요?

상상해 보세요. 고양이, 자동차, 또는 신호등을 놀라운 정확도로 식별할 수 있는 초지능 로봇이 있습니다. 그 로봇은 자신의 일을 매우 잘해내어 자동차 운전과 의사의 질병 진단에 활용되고 있습니다. 하지만 여기서 문제가 발생합니다: 그 로봇은 실제로 세상을 어떻게 '보는' 것일까요?

로봇에게 "이 사진의 어떤 부분이 고양이라고 생각하게 만들었나요?"라고 물어본다면, 로봇은 목소리가 없습니다. 로봇 내부에는 점등되는 신호들 (특징) 만 있을 뿐입니다. 이 논문이 제기하는 핵심 질문은 다음과 같습니다: 일반적인 인간이 그 신호들을 보고 그 의미를 이해할 수 있을까요?

저자들은 이를 **해석 가능성 (Interpretability)**이라고 부릅니다. 이는 로봇이 얼마나 똑똑한지(능력) 와 관련된 것이 아니라, 그 로봇의 사고 과정이 우리에게 얼마나 명확한지와 관련된 것입니다.

구식 방법 vs 신식 방법

구식 방법 (선다형 함정):
이전 연구들은 인간이 AI 의 특징을 이해하는지 확인하기 위해 사진들을 보여주고 "이 두 사진 중 어떤 것이 AI 의 신호와 일치합니까?"라고 물었습니다.

• 결함: 저자들은 이 방법에는 함정이 있음을 발견했습니다. 인간들은 종종 특징이 무엇이 아닌지만 알면 정답을 맞출 수 있었습니다.
  • 비유: 옥수수밭 사진과 해변 사진을 보여주고 "이 AI 신호는 옥수수와 관련이 없습니다"라고 말한다고 가정해 보세요. 신호가 실제로 무엇인지 전혀 모른다 하더라도 해변 사진을 쉽게 고를 수 있습니다. 당신은 단순히 틀린 답을 제거할 뿐, 신호를 진정으로 이해하는 것이 아닙니다. 이로 인해 테스트는 불공정하고 신뢰할 수 없게 되었습니다.

신식 방법 (탐정 프레임워크):
저자들은 미스터리를 해결하려는 탐정처럼 두 단계로 구성된 새롭고 공정한 테스트를 구축했습니다:

1. 국소화 가능성 (The "Where" 게임):

   • 설정: "미스터리 신호"와 그것을 유발하는 몇 가지 예시 (예: 타이어 사진, 신호가 밝게 빛나는 영역을 보여주는 히트맵) 가 표시됩니다.
   • 과제: 새로운 사진이 표시되고, 그 신호가 정확히 어디에서 점등될 것이라고 생각하는 곳을 클릭하도록 요청받습니다.
   • 목표: 신호와 일치하는 이미지의 특정 부분 (예: 타이어) 을 가리킬 수 있을까요?

2. 명명 가능성 (The "What" 게임):

   • 설정: 위의 시각적 단서와 동일합니다.
   • 과제: 그 신호가 무엇을 나타내는지 짧은 설명을 작성해야 합니다.
   • 목표: 말로 설명할 수 있을까요? (예: "자동차 바퀴입니다" 또는 "빨간 신호등입니다")

혼란스럽고 뒤섞인 뉴런이 아닌 순수한 '특징'을 테스트했는지 확인하기 위해, 저자들은 스무디에서 개별 재료를 분리하듯 단일하고 명확한 개념을 분리해 내는 특수 도구 (희소 오토인코더) 를 사용했습니다.

충격적인 발견: 더 똑똑해진다고 해서 더 명확해지는 것은 아닙니다

연구자들은 여섯 가지 다른 AI 모델을 테스트했습니다:

• 2 개의 구형 모델: 전통적인 감독 학습 방식으로 훈련된 모델 (선생님이 있는 학생과 같음).
• 4 개의 '기초 (Foundation)' 모델: 인터넷 전체로 훈련되어 거의 모든 일을 할 수 있는 새롭고 거대하며 초강력한 모델 (DINO, CLIP 등).

결과:
'기초' 모델들은 이전의 더 단순한 모델들보다 해석 가능성이 낮았습니다.

• 비유: 구형 모델은 교과서를 외우며 배운 학생과 같습니다. "왜 그 답을 선택했나요?"라고 물으면 명확한 이유를 설명할 수 있습니다.
• 반면 새로운 기초 모델은 인간 지식의 전체 도서관을 읽으며 배운 천재와 같습니다. 그들은 더 똑똑하고 더 어려운 문제를 해결할 수 있지만, 그들의 추론을 설명하라고 하면 모호하고 혼란스러운 답변을 내놓습니다. 그들의 내부 '사고'는 인간이 파악하기 더 어렵습니다.

중요하게도, '더 똑똑해'지는 것은 도움이 되지 않았습니다. 논문은 모델이 작업 (예: 객체 식별) 을 수행하는 성능과 인간이 그 특징을 이해하기 쉬운 정도 사이에 전혀 연관성이 없음을 발견했습니다. 더 잘 운전한다고 해서 뇌를 읽기 쉬운 것은 아닙니다.

어떤 특징이 이해하기 쉬운가요?

저자들은 AI 의 '사고'를 인간이 파악하기 쉽게 만드는 두 가지 구체적인 요소를 발견했습니다:

1. 국소성 (The "Spotlight" 효과):

   • 특징이 타이어처럼 좁고 구체적인 곳에서만 점등되면 인간은 이를 쉽게 이해할 수 있습니다.
   • 특징이 자동차 전체와 도로와 하늘처럼 한 번에 모든 곳에서 점등되면 인간은 혼란을 느낍니다. 새로운 기초 모델들은 종종 너무 넓은 영역을 덮는 이러한 '확산된' 신호들을 가집니다.
   • 비유: 군중 속에서 특정 사람을 찾을 때, 그들이 밝은 빨간 모자를 쓰고 있다면 (국소적) 찾기 쉽지만, 군중의 일반적인 분위기 '일부'일 뿐이라면 (확산된) 찾기 어렵습니다.

2. 대략적 정렬 (The "Big Picture" 일치):

   • 인간은 '동물', '차량'과 같은 넓은 범주로 세상을 이해합니다. AI 가 자신의 특징을 이러한 큰 범주에 맞게 조직하면 인간은 이를 더 잘 이해합니다.
   • AI 가 나비 날개의 정확한 질감처럼 다른 나비와 비교되는 미세하고 과도하게 구체적인 세부 사항에 집중한다면, 인간은 오히려 이를 이해하기 어렵게 느낍니다.
   • 비유: 지도를 설명할 때 도시의 모든 거리의 구체적인 모양을 설명하는 것 (미세) 보다 '북아메리카'와 '남아메리카'를 보여주는 것 (대략적) 이 더 쉽습니다.

유일한 희망: DINOv3

예외가 하나 있었습니다. DINOv3라는 모델은 매우 뛰어난 능력을 가지면서도 해석 가능성도 매우 높았습니다. 그 이유는 무엇일까요? 이 모델을 만든 사람들이 특정 지역 (특정 곳에서만 점등되는 것) 의 특징을 찾도록 명시적으로 프로그래밍했기 때문입니다. 이는 우리가 동시에 이해하기 쉬운 똑똑한 모델을 구축할 수 있다는 것을 증명합니다. 다만, 그 목표를 염두에 두고 설계해야 합니다.

요약

• 능력 $\neq$ 해석 가능성: AI 가 매우 똑똑하다고 해서 우리가 그 사고 방식을 이해할 수 있다는 뜻은 아닙니다. 실제로 가장 새롭고 똑똑한 모델들이 종종 가장 이해하기 어렵습니다.
• 격차: "일을 잘 수행하는 것"과 "일을 명확하게 설명하는 것" 사이에는 간극이 존재합니다.
• 해결책: AI 를 더 투명하게 만들기 위해서는 단순히 모델을 더 크고 강력하게 만드는 것이 아니라, 특정하고 국소적인 세부 사항에 집중하도록 훈련시키고, 인간과 유사한 넓은 범주로 지식을 조직하도록 해야 합니다.

이 논문은 AI 가 더 똑똑해짐에 따라 자연스럽게 더 이해하기 쉬워질 것이라고 가정할 수 없다고 결론 내립니다. 우리는 처음부터 그 명확성을 구축해야 합니다.