거대한 직소 퍼즐을 맞추려 한다고 상상해 보세요. 하지만 단순히 하나의 그림이 아니라, 각자 다른 조각을 들고 있는 친구 팀이 있습니다. 한 친구는 하늘을, 다른 친구는 바다를, 세 번째 친구는 산을 들고 있습니다. 이 조각들을 모두 합치면 완벽하고 완전한 그림이 됩니다. 이것이 바로 "멀티모달(multi-modal)" AI가 작동하는 방식입니다. 사진, 소리, 센서 측정값과 같은 서로 다른 유형의 데이터를 결합하여 더 똑똑한 결정을 내리는 것이죠. 하지만 문제는 여기에 있습니다. 현실 세계에서는 항상 계획대로 흘러가지 않는다는 점입니다. 카메라가 고장 나거나, 마이크가 젖거나, 센서의 배터리가 다 될 수도 있습니다. 갑자기 당신의 팀에서 몇 명의 친구가 사라져 퍼즐이 불완전해지는 상황이 발생합니다. 만약 당신의 AI가 모든 구성원이 다 있을 때만 작동하도록 학습되었다면, 조각 하나가 사라지는 순간 제대로 작동하지 못하고 무너질 것입니다. 이는 로봇, 자율주차 자동차, 의료 기기처럼 도구가 고장 나더라도 신뢰성 있게 작동해야 하는 분야에서 매우 큰 문제입니다.

여러분이 읽게 될 이 논문은 바로 이 골칫거리를 다룹니다. 이 논문은 다음과 같은 질문을 던집니다. "AI가 일부 데이터 소스가 누락되었을 때도 어떻게 똑똑함과 정확성을 유지하도록 가르칠 수 있을까?" 저자들은 이 시스템을 학습시키는 영리한 새로운 방법을 제안하는데, 이는 누락된 조각들을 억지로 "붙이는" 것이 아니라, 서로 다른 데이터 소스들이 서로 대화하고 서로를 돕도록 가르치는 방식입니다. 그들은 이를 "코-러닝(co-learning, 협력 학습)"이라고 부릅니다. 마치 수학을 잘하는 학생이 역사 과목을 잘하는 학생을 도와주는 스터디 그룹을 생각해보세요. 그래서 역사 학생이 결석하더라도 수학 학생이 전체 이야기를 설명할 수 있게 하는 것입니다. 연구진은 자신들의 아이디어를 두 가지 매우 다른 과제, 즉 위성 데이터를 통한 작물 종류 식별과 웨어러블 센서를 통한 인간 활동 인식에 테스트했습니다. 그들은 자신들의 새로운 방법이 AI를 훨씬 더 탄력적으로 만들어, 데이터가 엉망이 되거나 불완전해지더라도 궤도를 유지하게 한다는 것을 발견했습니다.

문제점: 팀원이 한 명 사라졌을 때

인공지능의 세계에서 "멀티모달 분류(multi-modal classification)"는 사건을 해결하기 위해 여러 감각을 사용하는 탐정과 같습니다. 범죄 현장 사진만 보는 대신, 탐정은 오디오 녹음본을 듣고, 목격자 진술을 읽고, 기상 보고서를 확인합니다. 이 모든 단서들을 결합함으로써 탐정(또는 AI)은 무슨 일이 일어났는지에 대해 훨씬 더 나은 추측을 할 수 있습니다. 하지만 현실은 복잡합니다. 지구 관측 분야에서는 구름에 의해 위성 카메라가 가려지거나 레이더가 고장 날 수 있습니다. 인간 중심의 연구에서는 웨어러블 센서의 배터리가 다 되거나 연결이 끊길 수 있습니다.

큰 문제는 대부분의 AI 모델이 항상 모든 단서가 존재한다고 가정하고 학습된다는 점입니다. 만약 다섯 가지 유형의 데이터로 모델을 학습시킨 다음 세 가지만 가지고 사용하려고 하면, 모델은 종종 혼란에 빠져 끔찍한 실수를 저지릅니다. 이를 해결하려는 이전의 시도들은 주로 "강건한 퓨전(robust fusion)"에 집중했는데, 이는 마치 다리 하나를 제거해도 계속 서 있을 수 있는 테이블을 만드는 것과 같습니다. 이 논문의 저자들은 이러한 접근 방식, 특히 다양한 유형의 데이터가 있고 그중 어떤 조합이라도 사라질 수 있는 상황에서는 한계가 있다고 주장합니다. 그들은 질문했습니다. "단순히 구멍을 메우려고 노력하는 대신, 남은 데이터 소스들이 서로를 보완하도록 가르친다면 어떨까?"

해결책: 데이터를 위한 스터디 그룹

저자들은 "누락된 임의의 모달리티를 위한 코-러닝(Co-Learning for Missing Arbitrary Modalities)"이라는 프레임워크를 소개합니다. 모든 데이터를 하나의 거대한 덩어리로 융합하도록 강요하는 대신, 각 데이터 유형별로 특화된 모델 팀(예: 광학 이미지용, 레이더용, 날씨용)을 구성합니다. 이 모델들은 서로 알고 있는 것을 공유하며 함께 작동하도록 학습됩니다.

그들은 이 팀워크가 작동하도록 두 가지 구체적인 전략, 즉 "방법"을 개발했습니다.

1. Co-Miss (Missing을 위한 코-러닝): 이 방법은 엄격한 훈련과 같습니다. 학습 과정 중에 AI는 끊임없이 누락된 데이터로 연습하도록 강요받습니다. 마치 선생님이 역사 학생에게 "오늘은 결석이야"라고 무작위로 말하면, 수학 학생이 어떻게든 전체 수업을 설명해야 하는 것과 같습니다. AI는 팀의 일부가 없더라도 전체 팀이 했을 법한 말을 "모방"하는 법을 배웁니다. 이를 "누락 디스틸레이션(missing distillation)"이라고 합니다. 이 방식은 하나 또는 몇 개의 데이터 조각만 누락되었을 때 매우 효과적입니다.

2. FullCo (전체 코-러닝): 이 방법은 팀원 거의 전체가 사라진 최악의 시나리오를 위해 설계되었습니다. 이는 모든 개별 데이터 모델이 서로와 최종 그룹 결정으로부터 배우는 "상호 디스틸레이션(mutual distillation)" 기술을 사용합니다. 이는 마치 모두가 서로를 가르치고 배우는 라운드 로빈 방식의 스터디 세션과 같습니다. 이 접근 방식은 AI에게 아주 적은 정보만 남았을 때, 예를 들어 단 하나의 센서만 작동하고 있을 때 빛을 발합니다.

두 방법 모두 두 단계의 학습에 의존합니다. **특징 수준(feature level)**에서 모델은 무엇이 "공통된 것"(예: 사진과 레이더가 모두 볼 수 있는 나무의 일반적인 형태)이고 무엇이 "특정한 것"(예: 사진만이 볼 수 있는 나무껍질의 질감)인지 식별하는 법을 배웁니다. **결정 수준(decision level)**에서는 지식 디스틸레이션을 사용하여 모델들이 최종 답변에 동의하도록 함으로써, 데이터가 부족할 때도 서로가 올바른 궤도를 유지하도록 돕습니다.

결과: 폭풍 속에서도 강하다

연구진은 두 가지 실제 데이터셋을 통해 자신들의 아이디어를 테스트했습니다. 첫 번째는 광학 이미지, 레이더, 날씨 데이터, 지형도를 포함한 네 가지 센서를 사용하여 작물 종류를 식별하는 Multi-CropHarvest였습니다. 두로 두 번째는 "샌드위치 만들기"나 "정리하기"와 같은 활동을 인식하기 위해 사람의 몸에 부착된 19가지의 서로 다른 센서를 사용하는 HL-Opportunity 데이터셋이었습니다.

결과는 유망했습니다. 모든 데이터가 있을 때 AI는 매우 우수한 성능을 보였습니다. 하지만 진짜 시험은 데이터를 제거하기 시작했을 때였습니다.

• "최소 누락(Minimal Missing)" 시나리오(센서 하나가 고장 난 경우)에서는 Co-Miss 방식이 주인공이었습니다. 이 방식은 정확도를 거의 잃지 않았으며, 이는 "훈련" 방식이 작은 결함에 완벽하게 대비했음을 증명했습니다.
• "극단적 누락(Extreme Missing)" 시나리오(거의 모든 센서가 고장 나서 하나만 남은 경우)에서는 FullCo 방식이 선두를 차지했습니다. 다른 방식들이 성능이 급격히 떨어지며 무너진 반면, FullCo는 자신의 입지를 지켜냈으며, 이는 "상호 교수" 전략이 폭풍 속에서도 살아남는 데 도움이 되었음을 보여주었습니다.

예를 들어, 작물 인식 작업에서 AI에게 센서 하나만 남겨두었을 때, 전통적인 방식들은 성능이 약 40포인트 하락했습니다. 반면 저자들의 방식은 훨씬 적게 하락했으며, FullCo는 약 24포인트만 하락했습니다. 19개의 센서를 사용하는 활동 인식 작업에서도 FullCo 방식은 대부분의 센서가 사라졌음에도 높은 수준의 정확도를 유지하며 많은 최신 기술(state-of-the-art)들을 앞질렀습니다 구.

이것이 의미하는 바

이 논문은 단순히 데이터를 "붙이는" 것에 집중하기보다 데이터 소스들이 서로 협력하도록 가르침으로써, 훨씬 더 견고한 AI 시스템을 구축할 수 있다는 점을 시사합니다. 저자들은 자신들의 방법이 다양한 누락 데이터 시나리오 전반에서 기존의 최고 기술들과 대등하거나 이를 능가한다는 것을 발견했습니다.

하지만 그들은 트레이드오프(trade-off)도 언급했습니다. Co-Miss 방식은 작은 데이터 누락 문제에는 탁월하지만, 가능한 모든 누락 조합을 시뮬레이션해야 하기 때문에 학습 비용이 많이 듭니다. 만약 센서가 10개라면, 연습해야 할 조합이 1,000개가 넘습니다! 이러한 이유로, 데이터가 심하게 누락될 수 있거나 센서의 수가 많을 때는 FullCo를 사용할 것을 권장합니다.

궁극적으로 이 연구는 신뢰할 수 있는 AI의 미래가 단순히 더 많은 데이터를 갖는 것이 아니라, 문제가 생겼을 때 우리가 가진 데이터가 서로를 어떻게 도울 수 있는지 가르치는 데 있다는 것을 보여줍니다. 구름을 뚫고 보려는 위성이든, 배터리가 다 되어가는 스마트워치가 사용자의 운동을 추적하는 것이든, 이러한 코-러닝 전략은 불이 꺼진 순간에도 포기하지 않는 AI를 향한 길을 제시합니다.