당신이 사진을 보고 문장을 읽은 뒤, 그 둘이 어떻게 연결되는지 즉각적으로 이해할 수 있는 초지능 로봇 두뇌를 가지고 있다고 상상해 보세요. 이것이 바로 **시각-언어 모델(Vision-Language Models, VLMs)**의 세계입니다. 이 모델들을 세상의 모든 책을 읽고 모든 사진을 본 거대하고 배고픈 도서관이라고 생각해보세요. 이들은 퍼즐을 풀고, 질문에 답하고, 특정 이미지를 찾는 데 매우 뛰어나지만, 한 가지 문제가 있습니다. 바로 너무 무겁다는 것입니다. 이들은 구동하기 위해 엄청난 양의 메모리와 전력을 가진 거대한 컴퓨터를 필요로 하는데, 이는 마치 배낭을 메고 산을 오르며 도서관 전체를 통째로 들고 가려는 것과 같습니다. 이 때문에 이 똑똑한 로봇들을 스마트폰이나 태블릿 같은 작은 기기에 넣는 것은 매우 어렵습니다.

이를 해결하기 위해 과학자들은 **프루닝(pruning, 가지치기)**이라는 기술을 사용합니다. 로봇의 두뇌가 거대한 연결망이라고 상상해 보세요. 프루닝은 로봇이 생각하는 데 도움이 되지 않는 아주 작고 쓸모없는 실들을 정교하게 잘라내어, 로봇이 하는 일을 잊지 않게 하면서도 가장 강하고 중요한 연결들만 남기는 것과 같습니다. 하지만 기존의 대부분의 방식은 로봇이 마주할 모든 작업에 대해 매번 특정한 연습 테스트(데이터)를 필요로 하거나, 로봇이 사진을 보는 것에서 글을 읽는 것으로 전환할 때 혼란을 겪는 등, 마치 다른 나라를 위해 만들어진 지도를 사용하는 것과 같습니다. 이 논문은 이 거대한 두뇌를 단 한 번, 완벽하게 다듬어서, 새로운 작업을 위해 다시 학습하거나 조정할 필요 없이 어디서든 실행될 수 있도록 하는 방법을 다룹니다.

---

"한 번에 끝내는" 두뇌 다듬기

민석 강(Minseok Kang) 연구원과 그의 팀이 도입한 새로운 방법인 PORTA(Prune-Once: Retraining-free Task-Agnostic pruning)를 만나보세요. 그들의 목표는 현재의 프루닝 방식들이 매번 다른 셔츠를 입고 싶을 때마다 치수를 재야 하는 재단사처럼 행동하는 답답한 문제를 해결하는 것이었습니다. 만약 로봇이 이미지 분류를 하길 원한다면 한 가지 방식으로 프루닝해야 하고, 만약 정보 검색(retrieval)을 하길 원한다면 또 다른 방식으로 다시 프루닝해야 합니다. 이는 느리고 비용이 많이 듭니다. PORTA는 다릅다. 그것은 원단을 한 번 보고 완벽하게 자른 뒤, 그 결과물이 달리기 경주를 하든, 회의에 앉아 있든, 파티에서 춤을 추든 어떤 상황에서도 당신에게 딱 맞는 옷을 만드는 숙련된 재단사와 같습니다.

이 논문은 다른 방식들이 왜 이 "한 번에 끝내는(one-and-done)" 접근법에 실패하는지에 대해, 그들이 로봇의 내부 신호의 **크기(magnitude)**에 의존하기 때문이라고 제안합니다. 저자들은 이러한 거대 모델에서 신호의 크기는 오해의 소지가 있을 수 있는데, 왜냐하면 두뇌의 "언어" 부분과 "시각" 부분이 서로 다르게 작동하기 때문이라고 주장합니다. 이는 마치 도서관에서의 외침과 경기장에서의 외침의 중요성을 판단하려는 것과 같습니다. 볼륨(크기)은 다르지만, 그 의미는 같을 수 있습니다. 이 때문에 단순히 볼륨만을 보는 방식은 로봇이 보지 못한 작업을 수행하게 될 때 엉뚱한 것을 잘라버릴 위험이 있습니다.

핵심 비결: 볼륨이 아닌 변동성

PORTA는 신호가 얼마나 큰가를 듣는 대신, 얼마나 변화하는가를 듣습니다. 연구진은 이를 **활성화 변동성(activation variation)**이라고 부릅니다.

여기 비유가 있습니다: 교실에 있는 학생 그룹을 상상해 보세요.

• 기존 방식 (크기/Magnitude): 선생님이 "누가 가장 크게 소리 지르니?"라고 묻고, 가장 크게 소리 지르는 학생들만 남깁니다. 하지만 그 학생은 단지 특정 주제에 흥분해서 크게 소리 지르는 것일 수도 있고, 조용한 학생은 사실 선생님이 말하는 모든 것에 집중하고 있을 수도 있습니다.
• PORTA 방식 (변동성/Variance): 선생님이 "질문에 따라 답변이 가장 많이 변하는 사람은 누구니?"라고 묻습니다. 주제에 따라 자신의 답변을 적응시키는 학생이야말로 실제로 내용을 제대로 이해하고 있는 학생입니다.

로봇의 두뇌에서 PORTA는 다양한 입력값에 대해 얼마나 많은 **변동(variation)**을 보이는지를 찾습니다. 만약 두뇌의 한 부분이 많은 다양한 사진이나 단어에 다르게 반응한다 그렇다면, 그 부분은 중요한 일을 하고 있는 것입니다. 만약 무엇을 보여주든 상관없이 항상 똑같이 반응한다면, 그것은 아마도 쓸모없는 무게일 뿐입니다. 이 "변화량" 점수를 사용함으로써, PORTA는 로봇이 고양이를 보고 있든 시를 읽고 있든 상관없이 어떤 것이 진정으로 유용한지 파악할 수 있습니다. 이는 PORTA를 "모달리티 불가지론적(modality-agnostic)"으로 만들어, 시각 부분과 언어 부분을 어느 한쪽으로 치우치지 않고 공정하게 다루게 합니다.

스마트한 절단: 모든 층이 평등한 것은 아니다

PORTA는 어떤 특징이 중요한지 알게 되면, 로봇 두뇌의 각 층에서 얼마나 많이 잘라낼지 결정해야 합니다. 두뇌는 균일한 블록이 아닙니다. 어떤 층은 집의 기초와 같고, 어떤 층은 지붕과 같습니다. 기초를 지붕만큼 공격적으로 깎아내지는 않을 것입니다.

PORTA는 영리한 적응형 희소성(adaptive sparsity) 메커니즘을 사용합니다. 이는 출력의 변동성을 바탕으로 각 층이 얼마나 많은 "일"을 하고 있는지 살펴봅니다.

• 만약 어떤 층이 많은 무게를 견디고 있다면(출력의 변동성이 높다면), PORTA는 "이 부분은 많이 건드리지 마!"라고 말하며 낮은 프루닝 비율을 부여합니다(대부분을 유지함).
• 만약 어떤 층이 그냥 흘러가는 대로 있다면(변동성이 낮다면), PORTA는 "이 부분은 대폭 깎아낼 수 있어"라고 말합니다.

이는 우리가 모델을 더 작게 만들려고 시도할 때 로봇이 사고하는 능력을 잃지 않도록 보장합니다. 논문은 이 방식이 다른 방식들이 너무 많이 깎아내려 할 때 성능이 갑자기 급락하는 "성능 절벽(performance cliffs)" 현상을 방지한다는 것을 보여줍니다.

결과: 더 강력하고, 더 가볍고, 무엇이든 준비된

연구진은 세 가지 유명한 로봇 두뇌인 CLIP, BLIP, Qwen2-VL을 대상으로 PORTA를 테스트했습니다. 그들은 단순히 한 가지 작업만 테스트한 것이 아니라, 다음과 같은 모든 것을 던져주었습니다:

• 이미지 분류 (Image Classification): 사진 속에 무엇이 있는지 식별하는 것 (예: 꽃과 개를 구분하는 것).
• 정보 검색 (Retrieval): 텍텍스트 설명에 맞는 올바른 사진을 찾는 것 (또는 그 반대).
• VQA (Visual Question Answering): 이미지에 대한 복잡한 질문에 답하는 것.

결과는 인상적이었습니다. 그들이 로봇의 파라미터를 **65%**나 잘라냈음에도 불구하고(매우 작게 만들었음에도), PORTA는 다른 방식들보다 훨씬 더 나은 성능을 유지했습니다.

• CLIP 모델의 경우, 65% 희소도에서 PORTA는 SparseGPT보다 평균 성능을 12.6%, Wanda보다 21.5% 향상시켰습니다.
• BLIP의 경우 (45% 희소도에서), PORTA는 90.26의 평균 점수를 기록하여 SparseGPT의 89.95를 앞질렀습니다.
• Qwen2-VL의 경우 (50% 희소도에서), PORTA는 54.30의 평균 정확도를 달성하여 차순위 방식인 Wanda를 0.87 퍼센트 포인트 차이로 이겼습니다.

가장 중요한 점은 PORTA가 **강건하다(robust)**는 것입니다. 논문은 프루닝을 위해 "교정(calibrate)"하는 데 사용하는 사진의 양이 적든 많든, 혹은 한 웹사이트의 사진을 쓰든 다른 곳의 사진을 쓰든 상관없다는 것을 보여줍니다. 다른 방식들은 사용하는 데이터에 따라 성능이 요동치는 반면, PORTA는 안정적인 상태를 유지합니다.

결론

PORTA는 이 거대한 모델들을 작게 만들기 위해 반드시 다시 학습시킬 필요가 없다는 것을 시사합니다. 로봇의 내부 신호가 얼마나 큰가가 아니라 얼마나 변하는가를 살피고, 일을 적게 하는 층에서 더 많이 깎아냄으로써, 우리는 어떤 작업에도 즉시 투입될 수 있는 하나의 슬림해진 모델을 만들 수 있습니다. 이는 "한 번 프루닝하면 영원히 사용한다"는 접근법으로, 마침내 이 초지능 시각-언어 모델들이 슈퍼컴퓨터 없이도 우리 주머니 속의 기기에서 실행될 수 있게 해줄 것입니다. 저자들은 광범한 제로샷(zero-shot) 실험을 통해, PORTA로 프루닝된 모델이 추가 학습 없이도 곧바로 새로운 작업에 뛰어들어 높은 정확도를 유지할 수 있음을 입증했습니다.