RE-TRIANGLE: Does TRIANGLE Enable Multimodal Alignment Beyond Cosine Similarity in Retrieval?

이 글은 **"RE-TRIANGLE: 검색에서 TRIANGLE 이 코사인 유사도 이상으로 멀티모달 정렬을 가능하게 하는가?"**라는 논문을 쉬운 언어와 창의적인 비유를 사용하여 설명한 것입니다.

큰 그림: "삼자 간 악수" 문제

로봇에게 세 가지 것을 동시에 보여줌으로써 세상을 이해하도록 가르친다고 상상해 보세요. 비디오(시각), 오디오(청각), 그리고 텍스트(무슨 일이 일어나고 있는지에 대한 설명) 입니다.

오랫동안 AI 연구자들은 "쌍별 (pairwise)" 전략을 사용해 왔습니다. 이는 마치 두 사람 간의 악수와 같습니다.

• 로봇은 텍스트와 비디오로 악수를 합니다.
• 그다음 텍스트와 오디오로 악수를 합니다.
• 문제점: 로봇은 실제로 비디오와 오디오가 서로 악수하도록 강제하지 않습니다. 둘 다 텍스트에는 동의할지라도, 서로에 대해서는 완전히 혼란스러울 수 있습니다. 마치 두 사람이 세 번째 사람에게는 동의하지만 서로를 미워하는 것과 같습니다.

TRIANGLE 해결책: "삼각형 면적"

원래 논문은 TRIANGLE이라는 새로운 방법을 제안했습니다. 단순히 두 가지 악수를 확인하는 대신, 세 가지를 한 번에 살펴봅니다.

세 가지 모달리티 (비디오, 오디오, 텍스트) 를 공간에 떠 있는 세 개의 점으로 상상해 보세요.

• 옛 방식 (코사인 유사도): 점 A 와 점 B 가 얼마나 가까운지, 그리고 점 A 와 점 C 가 얼마나 가까운지만 확인합니다.
• TRIANGLE 방식: 세 점을 모두 연결하는 삼각형을 그립니다. 목표는 그 삼각형의 면적을 가능한 한 작게 만드는 것입니다.

면적이 작다는 것은 세 점이 모두 빽빽하게 뭉쳐 있다는 뜻입니다. 이는 비디오와 오디오가 서로 정렬되도록 강제합니다. 둘 다 텍스트에 가까워지려고 하기 때문입니다. 해당 논문은 이 "기하학적" 접근 방식이 세상을 훨씬 더 밀접하고 일관되게 이해하게 만든다고 주장합니다.

이 재현성 연구가 무엇을 했는지

이 새로운 논문의 저자들 ("RE-TRIANGLE" 팀) 은 원래 주장이 사실인지 테스트하기로 결정했습니다. 그들은 독립적인 감사자처럼 행동하여 TRIANGLE 로봇을 처음부터 다시 구축해 보며 실제로 작동하는지 확인했습니다.

그들이 발견한 바를 네 가지 주요 이야기로 나누어 설명합니다.

1. "제로샷 (Zero-Shot)" 성공 이야기 (작동하지만 까다로움)

주장: TRIANGLE 은 본 적이 없는 새로운 데이터셋을 주었을 때 기존 방법보다 더 좋습니다.
판단: 대체로 사실입니다.

• 비유: 특정 재료 세트 (학습 데이터) 를 사용하여 요리하는 법을 배운 셰프를 상상해 보세요. 다른 재료 (새로운 데이터셋) 로 새로운 요리를 요청하면, 그들은 훌륭한 결과를 냅니다.
• 결과: 일반적이고 다양한 데이터셋 (무작위 웹 비디오 등) 에서 TRIANGLE 은 스타가 되어 기존 방법보다 상당한 차이 (최대 8.7% 향상) 로 앞섰습니다.
• 단점: 셰프는 다소 "한 가지 재주만 있는" 존재입니다. 팀이 TRIANGLE 을 **요리 튜토리얼 (YouCook2)**과 같은 매우 구체적인 유형의 비디오로 테스트했을 때, 그것은 완전히 실패했습니다. 오히려 기존 방법 (VAST) 이 더 잘 작동했습니다.
• 이유: 요리 비디오는 매우 반복적입니다 (잘게 썰기, 저어주기 등). "삼각형" 방식은 이러한 동일성 때문에 혼란을 겪은 반면, 기존 "퓨전" 방식 (비디오와 오디오를 먼저 섞는 방식) 은 반복성을 더 잘 처리했습니다.

2. "파인튜닝 (Fine-Tuning)" 함정 (망각하는 학생)

주장: TRIANGLE 을 요리 비디오에 특화시켜 가르친다면, 요리 실력이 매우 좋아져야 합니다.
판단: 사실이지만 부작용이 있습니다.

• 비유: 수학이나 역사에 능한 학생을 상상해 보세요. 일주일 동안 오직 요리만 집중적으로 가르칩니다. 그들은 요리 시험에서 만점을 받습니다. 하지만 그 후 수학 문제를 물으면 모든 것을 잊어버립니다.
• 결과: 팀이 TRIANGLE 을 요리 비디오로 파인튜닝했을 때, 요리 비디오를 찾는 능력은 크게 향상되었습니다. 그러나 일반 비디오를 처리하는 방법을 완전히 잊어버렸습니다. 일반 데이터셋에서의 성능은 급격히 떨어졌습니다. 이는 특정 전문성을 얻기 위해 일반 지식을 포기한 것입니다.

3. "처음부터 학습" 미스터리 (고장난 설계도)

주장: TRIANGLE 은 너무 강력하여 사전 학습 없이도 제로 (zero) 상태에서 세상을 이해할 수 있습니다.
판단: 재현 실패.

• 비유: 원래 논문은 팀에게 운전 면허 없이도 작동한다고 주장하는 자율주행차의 설계도를 건네주었습니다. 팀은 raw 금속과 와이어로 이를 조립해 보았지만, 차는 시동이 걸리지 않았습니다.
• 결과: 그들이 사전 학습 없이 절대적인 제로 상태에서 모델을 학습시키려 했을 때, 완전히 실패했습니다. "사전 학습된" 버전 (이미 면허를 가진 차) 으로 시작했을 때만 작동했습니다.
• 진단: 그들은 모델이 막 새로 생겼을 때 불안정해진 수학의 특정 부분 ("데이터 - 텍스트 매칭" 손실) 을 발견했습니다. 마치 테이블이 흔들리는 동안 젠가 탑을 균형 잡으려는 것과 같았습니다. 원래 저자들은 팀이 찾을 수 없었던 숨겨진 트릭이나 설정을 사용했을 가능성이 있습니다.

4. "코사인 정규화" 안전망

주장: 약간의 추가 수학 규칙 (코사인 정규화) 을 추가하면 안정성을 유지하는 데 도움이 됩니다.
판단: 사실이지만 한 가지 방향에서만 유효합니다.

• 비유: 이를 안전벨트라고 생각하세요.
• 결과: 로봇이 텍스트 쿼리를 사용하여 비디오를 찾을 때 (텍스트 → 비디오), 안전벨트는 놀라운 효과를 발휘합니다. 로봇이 길을 잃지 않도록 막아줍니다. 그러나 로봇이 비디오 쿼리를 사용하여 텍스트를 찾을 때 (비디오 → 텍스트), 안전벨트는 거의 아무런 역할을 하지 않습니다. 비디오는 이미 매우 기술적이어서 추가 도움이 필요하지 않기 때문입니다.

최종 결론

TRIANGLE 아이디어는 훌륭합니다. 비디오, 오디오, 텍스트가 빽빽한 "삼각형"을 형성하도록 강제함으로써, 기존 방법들보다 훨씬 더 통합된 세계 이해를 만들어냅니다. 특히 일반적이고 다양한 콘텐츠의 경우 그렇습니다.

그러나 이 연구는 세 가지 중요한 경고를 밝혀냈습니다.

1. 민감합니다: 다양한 데이터에서는 훌륭하게 작동하지만, 매우 구체적이고 반복적인 데이터 (예: 요리 쇼) 에서는 어려움을 겪습니다.
2. 취약합니다: 새로운 특정 기술 (파인튜닝) 을 가르치려고 하면, 기존 일반 기술을 잊어버릴 수 있습니다.
3. 처음부터 구축하기 어렵습니다: 제로 상태에서 시작할 수 없으며, 사전 학습된 시작점이 필요합니다. 또한 이를 수행하기 위한 원래 지침은 불완전했습니다.

요약하자면: TRIANGLE 은 서로 다른 감각을 정렬하기 위한 강력한 도구이지만, 신중한 처리가 필요하며 "모든 상황에 적용 가능한" 만능 해결책은 아닙니다.