FiGuRO: Intrinsic Dimension Estimation for Multi-Modal Data

소용돌이치는 은하계나 북적이는 도시와 같은 복잡한 대상을 단 몇 마디의 단어로만 설명하려고 한다고 상상해 보세요. 만약 당신이 "크고 반짝인다"라고 말한다면, 당신은 이야기의 대부분을 놓치게 됩니다. 반대로 천 페이지짜리 소설을 쓴다면, 너무 많은 세부 정보 때문에 핵심을 찾기가 어려워집니다. 과학자들은 무언가를 설명하는 데 필요한 '딱 적당한' 양의 정보를 그 대상의 **고유 차원(Intrinsic Dimension)**이라고 부릅니다. 이것을 어떤 형태를 재현하기 위해 실제로 돌려야 하는 '조절 나사'의 진짜 개수라고 생각해보세요. 설령 그 형태가 백만 개의 다른 것들이 놓여 있는 방 안에 놓여 있다 하더라도 말입니다. 예를 들어, 평평한 종이는 3차원 공간에 떠 있더라도 길이와 너위라는 2개의 고유 차원을 가집니다.

이제, 동일한 사건을 촬영하는 두 대의 서로 다른 카메라가 있다고 상상해 봅시다. 하나는 컬러로 보고, 다른 하나는 흑백으로 봅니다. 두 카메라는 모두 동일한 '공통된' 동작을 지켜보고 있지만, 각자 자신만의 고유한 '개별적' 세부 사항(예: 셔츠의 색깔이나 필름의 입자감)도 포착합니다. 컴퓨터에게 주어진 큰 과제는 이것입니다: "공통된 동작을 설명하는 데는 몇 개의 '조절 나사'가 필요한가? 그리고 각 카메라를 위한 고유한 세부 사항에는 몇 개가 필요한가?" 만약 컴퓨터가 이를 잘못 파악한다면, 셔츠의 색깔이 주요 동작의 일부라고 착각하거나, 너무 많은 데이터에 압도될 수도 있습니다. 이를 정확히 파악하는 것은 AI가 생물학, 의학, 그리고 현실 세계를 혼란 없이 이해할 수 있도록 똑똑한 AI를 만드는 데 매우 중요합니다.

여기, 이 정확한 퍼즐을 풀기 위해 연구자들이 만든 새로운 도구인 FiGuRO(Fidelity-Guided Rank Optimization)가 있습니다. FiGuRO를 데이터를 위한 매우 똑똑하고 자기 교정 능력이 있는 편집자라고 생각해보세요. 당신이 여행을 위해 짐을 싸려고 한다고 상상해 봅시다. 당신은 일단 당신이 가진 모든 것을 가방에 던져 넣습니다(너무 많은 물건이죠!). FiGuRO는 가방을 계속 확인하는 여행자와 같습니다. "이 재킷이 정말 필요한가? 이것을 빼도 여행을 망치지 않을까?" 하지만 여기서 마법 같은 일이 일어납니다. 만약 코트를 깜빡하고 너무 적게 챙겼다는 것을 깨닫는다면, FiGuRO는 그것을 다시 집어넣습니다. FiGuRO는 데이터 설명의 '크기'를 데이터가 완벽하게 들어맞을 때까지 끊임없이 줄였다가 늘리기를 반복합니다.

이 논문은 FiGuRO가 여러 유형의 데이터를 동시에 처리할 수 있는 최초의 방법임을 보여줍니다. 단순히 가방의 크기가 어느 정도 되어야 할지 추측하는 대신, FiGuRO는 '공통된' 항목(두 카메라가 모두 본 것)과 '개별적인' 항목(한 카메라만 본 것)을 분리하는 법을 배웁니다. 테스트에서 FiGuRO는 데이터가 지저고 노이즈가 많거나 각 부분의 정보량이 매우 다르더라도, 시뮬레이션된 데이터의 진정한 복잡성을 성공적으로 파악해 냈습니다. 데이터를 분리하도록 강제하는 복잡한 추가 규칙이 필요하지 않았습니다. 왜냐하면 도구가 가방을 가장 효율적으로 싸는 방법을 찾는 데 매우 뛰어났기 때문에 분리가 자연스럽게 일어났기 때문입니다.

연구진이 숫자를 말하는 오디오 녹음과 그 숫자의 이미지를 매칭하거나, 레이더 사진과 광학 위성 사진을 결합하는 것과 같은 실제 세계의 데이터로 FiGuRO를 테스트했을 때도, 이 방식은 잘 작동했습니다. FiGuRO는 노이즈를 제거하고 핵심적인 '공통' 신호를 찾아내어, 컴퓨터가 이전보다 패턴을 더 잘 인식할 수 있도록 도왔습니다. 이 논문은 이 접근 방식이 매우 견고하고 신뢰할 수 있으며, 끊임없이 미세 조정할 필요 없이 다양한 유형의 데이터에 걸쳐 잘 작동한다고 제안합니다. 이는 마치 AI에게 상황이 실제로 얼마나 복잡한지를 정확히 볼 수 있는 안경을 씌워주는 것과 같으며, 신호와 소음을 분리하여 AI가 더 빠르고 똑똑하게 학습할 수 있도록 돕는 것입니다.