당신이 초지능 로봇에게 세상의 사물들을 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 이미 이 로봇에게 수백만 장의 사진과 단어들을 학습시켜서, 훈련 데이터 속에 있는 고양이, 강아지, 자동차를 찾아내는 데 천재적인 능력을 갖추게 했습니다. 하지만 그러고 나서, 당신이 기묘한 만화 스타일로 그려진 고양이 사진이나 진흙 범벅이 된 자동차 사진을 건네줍니다. 갑자기 로봇은 혼란에 빠집니다. 이는 마치 수학 교과서는 완벽하게 마스터했지만, 선생님이 칠판에 다른 글꼴로 문제를 적자 얼어붙어 버린 학생과 같습니다. 이것은 우리가 보는 것과 읽는 것을 연결하는 AI의 두뇌인 "시각-언어 모델(Vision-Language Models)"이 겪는 큰 문제입니다. 이 모델들은 자신이 아는 것에는 놀라운 능력을 보이지만, 세상이 눈앞에서 변할 때는 어려움을 겪습니다.

이 문제를 해결하기 위해 (전체를 처음부터 다시 학습시키는 것은 시간이 너무 오래 걸리고 비용도 엄청나게 들기 때문에) 과학자들은 "테스트 타임 적응(Test-Time Adaptation)"이라는 기술을 사용합니다. 이것은 로봇이 새로운 사진을 보기 직전에 즉석에서 빠르게 조절하는 법을 가르치는 것이라고 생각하면 됩니다. 이 조절을 수행하는 가장 대중적인 방법은 "저차원 적응(Low-Rank Adaptation, LoRA)"이라고 불리는 것입니다. 로봇의 두뇌가 거대한 도서관이라고 상상해 보세요. LoRA는 도서관을 새로 짓는 것이 아니라, 로봇이 적절한 책을 더 빨리 찾을 수 있도록 선반에 몇 개의 포스트잇을 붙여주는 것과 같습니다. 하지만 여기에는 함정이 있습니다. 지금까지 모든 사람은 사진이 아무리 단순하든 복잡하든 상관없이 똑같은 크기의 포스트잇을 사용해 왔다는 점입니다.

이 논문은 MuRA(Multi-Rank Adaptation)라는 새로운 방법을 소개하며 이렇게 말합니다. "잠깐만요! 모든 사진이 다 똑같은 것은 아닙니다." 저자들은 단순한 파란 하늘 사진에는 아주 작고 단순한 포스트잇이 필요한 반 반면, 혼란스럽고 지저led한 거리 장면에는 크고 복잡한 포스트잇이 필요하다는 사실을 발견했습니다. 만약 복잡한 장면에 작은 포스트잇을 강제로 붙인다면 로봇은 세부 사항을 놓치게 됩니다. 반대로 단순한 하늘에 거대한 포스트잇을 붙인다면 로봇은 과하게 생각하여 혼란에 빠지게 됩니다. MuRA는 스마트한 사서처럼 행동하여, 이미지의 각 부분(이미지의 '토큰'이라 불리는)이 얼마나 복잡한지에 따라 즉각적으로 완벽한 크기의 포스트it을 선택하고, 로봇의 두뇌를 그에 맞춰 동적으로 조정합니다.

"모두에게 똑같은 크기"의 포스트잇이 가진 문제점

연구진은 먼저 이러한 AI 모델들이 새로운, 까다로운 이미지들을 어떻게 처리하는지 조사했습니다. 그들은 현재 방식들에서 주요한 병목 현상을 발견했습니다. 대부분의 시스템은 "정적 랭크(static rank)"를 사용하는데, 이는 멋진 말로 표현하자면 모든 이미지에 대해 고정된 양의 두뇌 에너지를 사용한다는 뜻입니다.

저자들은 시각적 입력값이 서로 다른 "정보 밀도"를 가지고 있다는 점을 깨달았습니다. 어떤 이미지는 단순하고 깨끗하지만(낮은 엔트로피), 어떤 이미지는 무질서하고 노이즈가 많거나 손상되어 있습니다(높은 엔트로피). 그들은 강력한 연결 고리를 발견했습니다: 이미지가 더 복잡하고 혼란스러울수록 로봇이 이해하는 데 필요한 "랭크(또는 두뇌 에너지)"가 더 많이 필요하다는 것입니다. 모든 것에 동일한 랭크를 사용하면 로봇은 타협을 강요받게 됩니다. 결국 복잡한 장면에서는 제대로 파악하지 못하는 '과소 적합(underfitting)' 상태가 되고, 단순한 장면에서는 노이즈 때문에 혼란을 겪는 '과적합(overfitting)' 상태가 됩니다. 이는 여름에 두꺼운 겨울 코트를 입고, 눈보라가 치는 날에 얇은 티셔츠를 입는 것과 같아서 둘 다 완벽하게 작동할 수 없습니다.

등장한 MuRA: 형태를 바꾸는 두뇌

이를 해결하기 위해 연구팀은 이미지의 각 작은 부분(토큰)이 얼마나 복잡한지에 따라 다양한 "랭크"의 적응 모듈을 선택하고 혼합하는 프레임워크인 MuRA를 제안했습니다.

MuRA가 어떻게 작동하는지 세 가지 핵심 요소로 나누어 설명하겠습니다:

1. 다중 랭크 직교 분해 (Multi-Rank Orthogonal Decomposition, MROD): 이것은 "스마트한 초기화"입니다. 빈 포스트잇에서 시작하는 대신(이는 불안정하고 학습 속도가 느립니다), MuRA는 로봇의 기존 지식을 가져와 중요도에 따라 여러 층으로 나눕니다. 매우 작은 것부터 매우 큰 것까지 준비된 일련의 포스트잇 세트를 마련합니다. 이를 통해 로봇이 탄탄한 기초 위에서 시작하여 실시간 학습 시 혼란을 겪지 않도록 합니다.
2. 통합 구성 요소 융합 (Unified Component Fusion, UCF): 이것은 "믹싱 볼"입니다. MuRA는 단순히 하나의 포스트잇 크기를 고르는 것이 아니라, 스마트한 라우터를 사용하여 그것들을 혼합합니다. 특정 이미지 부분에 대해, 예를 들어 작은 포스트잇 20%와 큰 포ست잇 80%를 섞어서 사용할 수 있습니다. 이를 통해 로봇은 유연성을 갖게 되어, 모든 세부 사항에 딱 맞는 양의 용량을 사용할 수 있습니다.
3. 연속적 라우터 업데이트 (Continuous Router Updating, CRU): 이것은 "학습 루프"입니다. 어떤 포스트잇을 사용할지 결정하는 라우터는 매 이미지마다 초기화되지 않습니다. 대신, 더 많은 사진을 보면서 자신의 전략을 계속 학습하고 업데이트합니다. 이를 통해 로봇은 "복잡성"에 대한 일반적인 이해를 구축하여, 이미지의 유형이 바뀌더라도 시간이 지남에 따라 적절한 포스트잇 크기를 선택하는 능력이 점점 더 좋아집니다.

왜 중요한가

저자들은 자동차를 이상한 날씨에서 인식하거나 예술적인 그림 속 동물을 포착하는 등 다양한 도전 과제들에 대해 MuRA를 테스트했습니다. 결과는 인상적이었습니다.

• 더 높은 정확도: MuRA는 다른 최상위 방법들을 일관되게 앞질렀습니다. 까다롭고 인식하기 어려운 이미지들로 가득 찬 ImageNet-A 테스트에서, MuRA는 **66.15%**의 정확도를 기록한 반면, 그다음으로 좋은 방법은 **65.50%**에 그쳤습니다. 또 다른 어려운 테스트인 ImageNet-R에서는 경쟁 모델의 **81.40%**보다 높은 **82.47%**를 달성했습니다.
• 더 빠르고 가볍게: 보통 모델을 똑똑하게 만드는 것은 모델을 더 느리고 무겁게 만드는 것을 의미합니다. 하지만 MuRA는 정반대입니다. MuRA는 초당 11.26개의 샘플을 처리하며, 이는 3.20에 불과한 TPT와 같은 다른 방법들보다 훨씬 빠릅니다. 또한 메모리도 적게 사용하여, 경쟁 모델 중 일부가 4.34 GB를 사용하는 데 비해 단 2.05 GB만을 사용합니다.
• 가장 깊은 층의 비결: 가장 놀라운 발견 중 하나는 Mu-RA가 어디에서 가장 잘 작동하는가였습니다. 대부분의 방법은 AI의 두뇌 중 가장 깊고 복잡한 층을 적응시키려 할 때 어려움을 겪습니다. 하지만 MuRA는 오히려 그곳에서 빛을 발합니다. 크기를 동적으로 조절할 수 있기 때문에, 복잡하고 높은 수준의 사고를 담당하는 깊은 층에서도 과부하 없이 이를 처리할 수 있습니다. 덕분에 가장 짧은 경로로 학습할 수 있어 효율성과 효과성을 동시에 잡았습니다.

증거는 사진 속에 있다

연구진은 숫자만 본 것이 아니라, 로봇이 실제로 무엇을 "보고" 있는지도 관찰했습니다. 로봇의 주의력(attention)을 시각화했을 때 흥고로운 사실을 발견했습니다.

• **벌(bee)**의 단순한 이미지에 대해, MuRA는 곤충의 세부 사항에 집중하기 위해 높은 랭크의 구성 요소를 사용했습니다.
• 갈라진 땅(cracked earth) 질감에 대해서는, 더 넓은 패턴을 보기 위해 낮은 랭크의 구성 요소를 사용했습니다.
• 반면, 표준 로봇(CLIP)은 종종 엉뚱한 곳을 보고 있거나 충분히 집중하지 못하는 모습을 보였습니다.

또한 논문은 이러한 동적 접근 방식이 수학적으로 필요함을 증명했습니다. 저자들은 만약 단일한 정적 랭크를 사용하려고 한다면, 수학적으로 반드시 차선책(suboptimal compromise)을 택할 수밖에 없음을 보여주었습니다. 이미지의 복잡성에 따라 랭크를 변화시킴으로써, 로봇은 매번 완벽한 균형을 찾을 수 있습니다.

앞으로의 과제

Mu-RA가 큰 진전을 이루었지만, 저자들은 한계점도 솔직하게 밝히고 있습니다. 현재 서로 다른 "랭크" 사이의 경계는 수동으로 설정되며, 시스템이 혼란(entropy)을 최소화하는 데 의존하기 때문에 때때로 잘못된 예측에 대해 지나치게 확신을 가질 수도 있습니다. 또한 아직 텍스트를 생성하는 최신 유형의 AI(자기회귀 모델)에 대해서는 테스트를 진행하지 않았습니다.

하지만 현재로서는, MuRA는 AI 적응의 미래가 더 크고 무거운 모델을 만드는 것이 아니라는 점을 보여줍니다. 그것은 더 똑똑하고, 더 유연하며, 눈앞의 세상에 맞춰 자신의 사고 방식을 조절할 수 있게 만드는 것입니다. 마치 로봇이 책을 읽을 때는 안경을 쓰고, 햇빛이 강한 날에는 선글라스를 쓰는 능력을 눈 깜짝할 사이에 갖추게 하는 것과 같습니다.