Multimodal Model Diffing for Feature Discovery and Control

당신이 책을 읽고, 사진을 보고, 그 두 가지 모두에 대해 질문에 답할 수 있는 초지능 로봇을 만들었다고 상상해 보세요. 당신은 이 로봇에게 도움이 되도록 가르쳤지만, 때때로 로봇은 혼란을 겪거나, 사실을 환각(hallucination)하거나, 까다로운 이미지를 보여주었을 때 위험한 말을 하기도 합니다. 문제는, 이 로봇의 "두뇌" 내부에서 모든 것이 수학적으로 뒤엉킨 엉망진창인 상태라는 점입니다. 그것은 마치 모든 책이 서로 붙어 있는 거대한 도서관과 같아서, 로봇의 나쁜 행동이나 고양이를 포착하는 놀라운 능력 중 구체적으로 어떤 페이지가 그 원인인지 구분할 수 없습니다. 과학자들은 이를 해결하고 싶어 하지만, 특정 기술을 제어하는 정확한 "스위치"나 "다이얼"을 찾아낼 방법이 필요합니다.

이를 위해 연구자들은 **희소 오토인코더(Sparse Autoencoder, SAE)**라는 도구를 사용합니다. SAE를 로봇의 뒤엉킨 생각을 단순하고 뚜렷한 "아이디어"나 "특징(feature)"들의 목록으로 분해하는 마법 같은 번역기라고 생각해 보세요. 데이터의 흐릿한 구름 대신, 로봇의 두뇌는 이제 "빨강", "위험", "왼쪽"과 같은 단일 개념을 나타내는 항목들로 구성된 사전처럼 정리됩니다. 하지만 여기에는 함정이 있습니다. 텍스트 전용 로봇에게 이미지를 보는 법을 가르칠 때, 로봇은 단순히 새로운 특징을 추가하는 것이 아니라 기존의 것들을 재배치하곤 합니다. 이는 마치 영어 단어 사전을 가져다가 갑자기 "사과"라는 단어를 "빨간 자동차"라는 뜻으로 사용하는 것과 같습니다. 이 때문에 어떤 특징이 실제로 새로운 시각적 작업을 수행하고 있고, 어떤 것이 텍스트 학습의 잔재인지 파악하기가 어려워집니다.

여기서 새로운 논문인 MMDiff가 등장합니다. 연구자인 Hunar Batra와 옥스퍼드 및 마이크로소프트 팀은, 특정 "시각적 스위치"를 찾으려면 단순히 완성된 로봇을 보는 것만으로는 부족하며, 시각을 배우기 전의 "텍스트 전용" 상태와 비교해야 한다는 점을 깨달았습니다. 그들은 **멀티모달 모델 디핑(Multimodal Model Diffing)**이라는 방법을 만들어냈습니다. 쌍둥이 형제를 상상해 보세요. 한 명은 책만 읽었고, 다른 한 명은 세상이 보이는 법까지 배웠습니다. 이 두 형제의 뇌를 나란히 놓고 비교함으로써, MMDiff는 시각을 위해 변화했거나 용도가 변경된 뇌의 부위가 정확히 어디인지를 강조해 줍니다.

연구팀은 이 "디핑(diffing)" 과정이 믿기지 않을 정도로 강력하다는 것을 발견했습니다. 그들은 변화된 특징들을 격리함으로써 로봇의 행동을 놀라울 정도로 정밀하게 제어할 수 있다는 것을 발견했습니다. 예를 들어, 그들은 공간 관계(예: 컵이 탁자 위에 있다는 것을 아는 것)를 이해하는 데 특화된 특정 특징들을 찾아냈습니다. 이 특정 특징들을 "꺼짐" 상태로 만들었을 때, 로봇의 공간 관련 질문 답변 능력은 약 12% 감소했지만, 일반적인 질문에 대한 답변 능력은 정확히 동일하게 유지되었습니다. 이는 마치 "왼쪽/오른쪽" 스위치를 꺼도 "이것이 무엇인가?"라는 스위치는 망가뜨리지 않은 것과 같았습니다.

또한 그들은 안전과 관련된 특징들도 찾아냈습니다. 로봇을 위험한 이미지 기반의 속임수에 취약하게 만드는 특징들을 식별하고 제거했을 때, 이러한 속임수를 무시하는 로봇의 성공률이 24% 향상되었습니다. 더 나아가, 그들은 이 특징들을 높이거나 낮춤으로써 로봇을 "조종(steer)"할 수도 있었습니다. 적절한 특징들을 강화함으로써, 전체 로봇을 처음부터 다시 학습시킬 필요 없이 이미지 내 텍스트 읽기(OCR) 능력을 1.8%, 공간 추론 능력을 3.6% 향상시켰습니다.

이 논문은 멀티모달 로봇에 대해 새로운 사전을 처음부터 학습시킨다고 해서 특정 시각적 특징을 쉽게 찾을 수 있을 것이라는 생각을 명시적으로 부정합니다. 연구진은 만약 텍s트 전용 버전과 비교하는 과정(즉, "디핑" 부분)이 없다면 특징들이 뒤섞여서 제어하고자 하는 특정 기술을 격리할 수 없다는 것을 보여주었습니다. 또한 단순히 어떤 특징이 자주 발생하는지를 보는 것만으로는 충분하지 않으며, 해당 특징이 학습 과정 중에 실제로 회전하거나 의미가 변했는지 확인해야 한다는 점도 밝혀냈습니다.

요약하자면, MMDiff는 AI 두뇌를 위한 고도의 "찾기 및 바꾸기" 도구 역할을 합니다. MMDiff는 로봇이 무언가를 하고 있다는 사실만을 알려주는 것이 아니라, 그 일을 수행하는 정확히 어느 작은 부분이 담당하고 있는지를 알려줍니다. 이를 통해 텍스트 읽기, 공간 이해, 또는 안전 유지와 같은 특정 행동을 로봇의 나머지 지능에는 전혀 영향을 주지 않으면서도 미세하게 조정, 수정 또는 개선할 수 있게 해줍니다. 이는 미래에 우리가 이 강력한 AI 시스템들을 훨씬 더 안전하고 효과적으로 감사(audit)하고 제어할 수 있으며, AI가 우리가 원하는 대로 정확히 작동하도록 보장할 수 있음을 시사합니다.