Coordinated Disentanglement with Iterative Mode Discovery Under Hidden Correlations

당신은 로봇에게 지저분한 방에서 서로 다른 것들을 인식하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇이 '빨간 공'이 색상과 모양에 관한 것이라는 점을, 그리고 '구르는 동작'이 움직임에 관한 것이라는 점을 배우길 원하며, 이 두 아이디어를 뇌 속에서 분리하여 유지하고 싶어 합니다. 이 연구 분야를 **엉킴 해제 표현 학습(Disentangled Representation Learning)**이라고 부릅니다. 목표는 복잡한 데이터를 깔끔하고 독립적인 '바구니'로 나누어, 로봇이 색상을 바꾼다고 해서 모양이 변하지 않으며 그 반대도 마찬가지라는 것을 이해하게 만드는 것입니다.

하지만 현실 세계는 결코 그렇게 깔끔하지 않습니다. 종종 사물들이 은밀하게 연결되어 있는 경우가 있습니다. 예를 들어, 로봇이 오직 특정 인물이 굴리는 '빨간 공'만을 보았고, '파란 공'은 다른 사람이 던지는 것만 보았다고 가정해 봅시다. 만약 로봇이 주의를 기울이지 않는다면, '빨간색'이 사실상 '사람 A'를 의미한다고 착각할 수 있습니다. 이것을 **상관관계(correlation)**라고 합니다.

더욱 교묘하고 숨겨진 층위의 문제가 있습니다. '빨간 공'이라는 카테고리 안에서도, 두 가지 뚜렷한 방식인 부드러운 '산책'과 활기찬 '질주'가 존재할 수 있습니다. 이것들은 숨겨진 **모드(modes)**입니다. 만약 로봇이 이 두 가지 스타일이 존재한다는 것을 깨닫지 못한다면, 그날 공을 들고 있었던 사람이 누구냐에 따라 '산책'을 '사람 A'로, '질주'를 '사람 B'로 오해할 수 있습니다. 로봇이 새로운 상황을 마주했을 때 패턴이 바뀌면, 결국 실패하게 됩니다. 이 논문은 로봇이 이러한 숨겨진 하위 그룹(모드)을 포착하는 동시에, 데이터 속에 엉켜 있는 서로 다른 속성들(예: 색상과 사람)을 완벽하게 분리해 내는 까다로운 문제를 다룹니다.

---

탐정의 딜레마: 숨겨진 실타래를 풀다

새로운 방법론인 CoDID(Coordinated Disentanglement with Iterative mode Discovery, 반복적 모드 발견을 통한 협력적 엉킴 해제)를 만나보세요. CoerD를 북적이는 파티에서 미스터리를 풀려는 아주 똑똑한 탐정이라고 생각해보세요. 이 파티에는 두 가지 주요 유형의 손님이 있습니다: 바로 그들의 활동(Activity)(예: 걷기 또는 달리기)과 사용자 ID(User ID)(그들이 누구인지)입니다.

보통 탐정들은 이 두 가지 사실을 분리하려고 노력합니다. 그들은 "이 사람이 누구인지"는 신경 쓰지 않고 "이 사람이 걷고 있는가?"를 알고 싶어 합니다. 하지만 여기 함정이 있습니다. 현실 세계에서는 특정 습관을 가진 사람들이 있습니다. 예를 들어, 사용자 B는 오직 '빠르게 걷기'만 하고, 사용자 A는 오직 '산책'만 할 수도 있습니다. 만약 탐정이 주의를 기울이지 않는다면, '빠르게 걷기'가 '사용자 B'를 의미하고 '산책'이 '사용자 A'를 의미한다고 실수로 학습할 수 있습니다. 이것이 숨겨진 상관관계입니다. 탐정은 사람에게 너무 집중한 나머지 활동을 잘못 판단하게 됩니다.

설상가상으로, '걷기' 활동 자체도 단 하나가 아닙니다. 그 안에는 숨겨진 모드가 있습니다: 느릿한 '산책'과 활기찬 '빠른 걷기'입니다. 이것들은 마치 같은 아이스크림의 두 가지 다른 맛과 같습니다. 만약 탐정이 이들을 하나로 뭉뚱그려 버린다면, 미세한 차이를 놓치게 됩니다. 하지만 너무 일찍 이들을 나누려고 시尝试한다면, 실수가 눈덩이처럼 불어나 재앙이 될 수 있습니다.

"나이브 루프(Naive Loop)"의 함정

연구자들은 흔한 함정을 발견했습니다. 일부 기존 방법들은 다음 두 가지를 반복하는 루프를 통해 이 문제를 해결하려 했습니다:

1. 그룹 추측하기: "좋아, 어떤 '걷기' 샘플이 '산책'이고 어떤 것이 '빠른 걷기'인지 추측해보자."
2. 사실 분리하기: "이제, 로봇에게 사용자 ID를 무시하도록 가르치자."

문제는 무엇일까요? 만약 탐정이 1단계에서 그룹을 잘못 추측하면, 2단계에서 로봇에게 잘못된 교훈을 주게 된다는 것입니다. 그러면 로봇의 엉망이 된 뇌는 탐정의 다음 추측을 더욱 나쁘게 만듭니다. 이것은 마치 메시지가 전달될 때마다 내용이 왜곡되는 '전화기 게임(Telephone game)'과 같아서, 마지막 메시지에 도달하면 결국 엉터리가 되어버립니다. 연구자들은 이를 **오차 증폭(error amplification)**이라고 부릅니다.

CoDID의 솔루션: 협력적인 춤

CoDID는 **협력 메커니즘(coordination mechanism)**을 도입하여 이 문제를 해결합니다. 탐정과 선생님이 엉망인 루프 속에서 일하는 대신, 서로 손을 잡고 함께 춤을 추는 방식입니다.

작동 방식은 다음과 같은 생생한 비유를 들어 설명하겠습니다:

데이터가 뒤섞인 거대한 레고 블록 상자라고 상상해 보세요. 어떤 것은 빨간색이고, 어떤 것은 파란색입니다(속성). 하지만 빨간색 더미 안에는 두 가지 뚜렷한 모양이 있습니다: '산책' 블록과 '빠른 걷기' 블록입니다(모드).

1. 발견 단계 (Discovery Phase): CoDID는 블록들을 살펴보고 그것들을 더미로 분류하려고 시도합니다. 정확히 몇 개의 더미가 있는지 모르기 때문에, 필요에 따라 더미의 수를 늘리거나 줄일 수 있는 유연한 도구(디리클레 프로세스, Dirichlet Process)를 사용합니다.
2. 분리 단계 (Separation Phase): 로봇에게 사용자 ID를 무시하도록 가르칩니다. 하지만 여기서 마법이 일어납니다. 단순히 "모든 것을 무시해"라고 말하는 것이 아니라, **가중치 네트워크(Weight Net)**라는 똑똑한 계산기를 사용하여 블록에 가중치를 부여합니다.
   • 만약 '산책' 블록이 보통 사용자 A에 의해 들려 있다면, 계산기는 이 블록에 특별한 가중치를 부여합니다.
   • 만약 '빠른 걷기' 블록이 보통 사용자 B에 의해 들려 있다면, 다른 가중치를 부여합니다.
   • 이를 통해 로봇은 이렇게 말할 수 있습니다. "이 블록이 사용자 B처럼 보이지만, 이것은 '산책' 블록이기 때문에, 나는 이것이 우연히 사용자 B가 들고 있는 '산책'임을 알고 있어." 즉, 실제 패턴과 우연한 패턴을 구분해 냅니다.
3. 피드백 루프 (Feedback Loop): "가중치 네트워크"는 분류 실수로부터 배웁니다. 만약 로봇이 여전히 혼란스러워한다면, 가중치가 변경되어 다음번에 탐정이 더 잘 분류할 수 있도록 돕습니다. 만약 더미가 너무 엉망이라면, 가중치는 탐정에게 "이 더미를 두 개로 나누세요!"라고 알려줍니다. 이는 분류가 좋아지면 분리가 잘 되고, 분리가 잘 되면 다시 분류가 좋아지는 상호 강화(mutual enhancement) 구조를 만듭니다.

연구 결과

연구진은 색상이 있는 숫자 및 의류 이미지부터 인간의 보행 패턴 및 기계 결함에 관한 실제 데이터에 이르기까지 7개의 서로 다른 데이터셋에 대해 CoDID를 테스트했습니다.

• 결과: CoDID는 명확한 승자였습니다. CoDID는 기존의 최고 방법들보다 정확도에서 평균 7.8%, 그리고 모든 유형의 데이터를 공정하게 다루는 능력을 측정하는 점수인 "매크로 F1(macro F1)"에서 7.9% 더 높은 성능을 보였습니다.
• "만약에" 테스트: 규칙이 바뀌는 상황(예: 사용자 B가 '빠른 걷기' 대신 '산책'을 하기 시작할 때)에서도 테스트를 진행했습니다. CoDID는 강력하게 유지된 반면, 다른 방법들은 무너졌습니다. 이는 CoDID가 우연한 패턴이 아닌 진짜 숨겨진 모드를 학습했음을 입증합니다.
• "단서 없음" 테스트: 숨겨진 모드가 몇 개인지 알려주지 않았을 때(예: 강아지의 종류가 정확히 5종류라고 알려주지 않았을 때)도, CoDID는 스스로 이를 찾아냈으며 정답을 미리 알고 있는 방법들보다 더 뛰어난 성능을 보였습니다.

이것이 중요한 이유

이 논문은 복잡한 데이터를 진정으로 이해하기 위해서는 표면만을 봐서는 안 된다는 점을 시사합니다. 우리는 숨겨진 하위 그룹(모드)을 찾아내야 하며, 그들에 대한 추측이 주요 사실에 대한 이해를 망치지 않도록 주의해야 합니다. 숨겨진 그룹의 발견과 속성의 분리를 조화시킴으로써, CoDID는 "전화기 게임"식의 오차가 최종 결과물을 망치는 것을 방지합니다. 이는 AI가 세상이 복잡하고 숨겨진 연결로 가득 차 있을 때라도, 더욱 견고하고 적응력이 뛰어나며 세상을 진정으로 이해하도록 만드는 한 단계입니다.