Dynamic Context Adapters: Efficiently Infusing History into Vision-and-Language Models

당신이 로봇에게 거대하고 보이지 않는 미로를 탐색하는 법을 가르치고 있다고 상상해 보세요. 당신은 미로 전체를 한 번에 볼 수 없습니다. 오직 로봇의 카메라 바로 앞에 있는 바닥의 작은 구역만을 볼 수 있을 뿐입니다. 출구를 찾기 위해 로봇은 자신이 어디에 있었는지, 5분 전에 무엇을 보았는지, 그리고 현재 위치에 어떻게 도달했는지를 기억해야 합니다. 이것이 바로 **시각-언어 모델(Vision-and-Language Models, VLMs)**의 세계입니다. 이 모델들을 사진 한 장을 보고 명령을 읽을 줄 아는 매우 똑똑한 로봇이라고 생각해보세요. 하지만 이들은 보통 스냅샷처럼 한 번에 단 하나의 사진만을 보도록 훈련되어 있습니다.

문제는 우리가 로봇에게 집 안을 걸어서 특정 책을 찾는 것과 같이 시간이 걸리는 일을 시킬 때 발생합니다. 만약 로봇이 지금까지 찍은 모든 사진을 뇌 속에 한꺼번에 쌓아두려고 한다면, 로봇의 뇌는 과부하가 걸릴 것입니다. 이는 마치 모든 페이지가 서로 붙어 있는 책을 읽으려는 것과 같아서, 책이 너무 두꺼워져 선반에 들어가지 못하게 만드는 것과 같습니다. 이 "쌓기(stacking)" 방식은 느리고 엄청난 양의 컴퓨터 메모리를 잡아먹으며, 로봇이 자신의 과거 기록에 걸려 넘어지게 만듭니다. 과학자들은 로봇이 '브레인 프리즈(brain freeze, 뇌 정지)' 현상을 겪지 않으면서도 과거를 기억할 수 있는 방법을 찾아왔습니다.

여기에 연구진이 이 메모리 문제를 해결하기 위해 제안한 영리한 기술인 **동적 컨텍스트 어댑터(Dynamic Context Adapter, DCA)**가 등장합니다. DCA는 로봇에게 지금까지 찍은 모든 사진이 담긴 무거운 배낭을 메게 하는 대신, 아주 작고 마법 같은 메모장을 쥐여줍니다. 로봇이 걷는 동안, 로봇은 과거의 사진들을 살펴보고 가장 중요한 부분들을 요약하여 이 메모장에 짧은 노트로 남깁니다. 이 노트들은 여정의 매 단계마다 로봇의 뇌 속으로 슬쩍 끼워 넣어지며, 로봇이 속도를 늦추지 않고도 경로를 기억할 수 있도록 돕습니다.

연구진은 이 방법이 놀라운 효과를 낸다는 것을 발견했습니다. 이 "메모장" 시스템을 사용함으로써, 로봇은 기존의 투박한 방식에 비해 **25% 이상의 컴퓨팅 파워(구체적으로는 어텐션 FLOPs)**를 덜 사용하며, 13%의 메모리를 절약할 수 있었습니다. 훨씬 더 나아가, 로봇은 실제로 업무 수행 능력이 향상되었습니다. 복잡한 환경에서 긴 지시에 따라 탐색해야 하는 테스트에서, DCA 로봇은 재귀적 메모리(recurrent memory)를 사용하여 모든 것을 직접 기억하려고 했던 버전보다 성공률(Success Rate)이 13.7% 향상되었습니다. 이 로봇은 다른 방식들이 어려워했던 길고 까다로운 퍼즐들을 해결해 냈으며, 이는 모든 것을 주머니에 다 넣고 다닐 필요 없이, 무엇을 주머니에 넣어야 할지만 알면 된다는 것을 증명했습니다.

핵심 아이디어: 사진을 쌓는 것이 왜 나쁜 생각인가

DCA가 왜 그토록 중요한지 이해하려면, 당신이 미스터리를 풀고 있다고 상상해 보세요. 당신에게는 매우 똑똑하지만 주의력이 매우 짧은 탐정이 있습니다. 만약 당신이 탐정에게 범죄 현장의 사진 한 장을 보여준다면, 그들은 정확히 무엇이 보이는지 말해줄 것입니다. 하지만 만약 하루 동안 일어난 미스터리를 해결하라고 요청한다면, 당신은 그날 찍힌 모든 사진을 한꺼번에 보여주고 싶은 유혹을 느낄 수도 있습니다.

문제는 만약 100장의 사진을 보여준다면, 탐정은 단서를 찾기 위해 모든 사진을 서로 하나하나 비교해야 한다는 점입니다. 사진이 늘어날수록 수학적 난이도는 "이차적(quadratic)"으로 증가합니다(즉, 사진이 두 배가 되면 작업량은 네 배가 됩니다). 결국 탐정은 엄청난 양의 이미지에 압도되어 명확하게 생각하지 못하게 되거나, 이를 실행하는 컴퓨터의 메모리가 부족해져서 멈춰버리게 됩니다. 이것이 현재의 시각-언어 모델이 긴 비디오 시퀀스나 내비게이션 단계를 처리하기 위해 과거의 프레임들을 단순히 "연결(concatenating, 이어 붙이기)"하려고 할 때 발생하는 현상입니다.

해결책: 마법의 메모장

이 논문의 저자인 송유항(Yuhang Song)과 그의 팀은 로봇이 과거의 모든 사진을 다시 볼 필요가 없다는 점을 깨달았습니다. 로봇에게는 그저 일어났던 일의 본질이 필요할 뿐입니다. 그들은 **동적 컨텍스트 어댑터(DCA)**라고 불리는 시스템을 만들었습니다.

DCA를 매우 효율적인 비서라고 생각해 보세요. 로봇이 집 안을 걸어 다니는 동안, 비서는 로봇의 카메라 피드를 지켜봅니다. 비서는 로봇에게 100장의 사진 뭉치를 건네주는 대신, 지난 100장의 사진을 빠르게 훑어보고 포스트잇에 몇 줄의 핵심 문장을 적습니다. 예를 들어, 메모에는 "3단계 전의 빨간 문을 지나왔음" 또는 "주방은 왼쪽에 있음"이라고 적힐 수 있습니다.

이 "포스트잇"은 **고정된 크기의 메모(fixed-size memory)**입니다. 로봇이 10단계를 걸었든 1,000단계를 걸었든, 메모의 크기는 항상 동일하게 작습니다. 로봇은 이 메모를 가져가 매 단계마다 자신의 뇌 속에 집어넣습니다. 이를 통해 로봇은 매번 전체 역사책을 다시 읽지 않고도 과거를 "기억"할 수 있습니다.

작동 방식: 두 단계의 댄스

이 시스템은 연구진이 "듀얼 파이프라인(dual-pipeline)"이라고 부르는 두 가지 주요 단계로 작동합니다.

1. 압축 (비서): 로봇의 과거 관찰 데이터는 특수한 모듈로 들어가 압축됩니다. 이 모듈은 "교차 주의(cross-attention)" 기법을 사용하여 과거의 어떤 부분이 실제로 중요한지를 파고듭니다. 이는 마치 비서가 지루한 부분(예: 로봇이 빈 벽을 바라보는 장면)은 무시하고, 흥미로운 부분(예: 목표물을 발견한 문)에만 집중하는 것과 같습니다. 이를 통해 작고 고정된 형태의 "메모리 벡터(memory vectors, 즉 포스트잇)" 세트가 생성됩니다.
2. 통합 (뇌 강화): 이 포스트잇들은 매 단계마다 로봇의 메인 뇌(LLM 백본)에 주입됩니다. 이는 마치 매 단계마다 로봇의 귀에 힌트를 속삭여 주는 것과 같습니다. 로봇은 이를 위해 원래의 뇌 구조를 변경할 필요가 없습니다. 그저 메모리 모듈로부터 약간의 추가적인 도움을 받을 뿐입니다.

결과: 더 빠르고, 가볍고, 똑똑하게

연구팀은 로봇이 "방 밖으로 나가서 왼쪽으로 돌아 책을 찾아라"와 같은 지시를 따라야 하는 표준 내비게이션 챌린지인 VLN-CE에서 이 새로운 방법을 테스트했습니다. 그들은 DCA 로봇을 다음 두 가지 유형의 로봇과 비교했습니다:

• "쌓는 로봇" (No-Adapt): 과거의 모든 사진을 쌓아서 기억하려고 시도하는 로보입니다.
• "재귀적 로봇" (Recurrent-Adapt): 과거를 요약하려고 노력하지만 종종 세부 사항을 잊어버리는 오래된 방식의 메모리(루프 형태)를 사용하는 로봇입니다.

결과는 인상적이었습니다. DCA 로봇은 더 빠를 뿐만 아니라 더 똑똑했습니다:

• 효율성: "쌓는" 로봇보다 25% 이상의 컴퓨팅 파워(FLOPs)를 덜 사용했고, 13% 적은 메모리를 사용했습니다. 이는 이 로봇이 더 저렴하고 작은 컴퓨터에서도 멈추지 않고 실행될 수 있음을 의미합니다.
• 성능: 실제로 목적지를 찾는 데 있어서, DCA 로봇은 재귀적 메모리를 사용하는 유사한 로봇보다 성공률(SR)을 13.7% 향상시키며 "쌓는" 로봇을 큰 차이로 앞질렀으며, 더 크고 복잡한 훈련 방식을 사용하는 훨씬 더 큰 모델들보다도 우수한 성능을 보였습니다.
• 메모리 사용량: 로봇이 긴 경로를 이동함에 따라 "쌓는" 로봇의 메모리 사용량은 폭발적으로 증가한 반면, DCA 로봇의 메모리 사용량은 일정하고 낮게 유지되었습니다.

로봇이 실제로 "보는" 것

이 연구의 가장 멋진 부분 중 하나는 로봇이 무엇을 기억하기로 결정하는지 관찰하는 것입니다. 연구진은 DCA 시스템의 "어텐션(attention, 주의 집중)"을 시각화했습니다. 그들은 로봇이 모든 것을 똑같이 기억하는 것이 아니라는 점을 발견했습니다. 대신, 로봇은 정말 중요한 순간들에 집중했습니다.

예를 들어, 지시 사항이 침실 문을 찾는 것이라면, 로봇은 긴 빈 복도를 걷고 있을 때 찍은 사진들에는 거의 주의를 기울이지 않았습니다. 하지만 침실 문이 시야에 나타나거나 로봇이 목표물에 가까워지는 순간, "어텐션"이 급격히 치솟았습니다. 이 시스템은 노이즈를 성공적으로 걸러내고 신호만을 유지했으며, 이는 단순히 데이터를 무작위로 압축하는 것이 아니라 지능적으로 가장 유용한 기억을 선택하고 있음을 입증했습니다.

이것이 왜 중요한가

이 연구는 로봇을 더 똑똑하게 만들기 위해 반드시 더 크고 무거운 뇌를 만들 필요는 없다는 것을 시사합니다. 대신, 우리는 로봇이 기억을 정리하는 더 똑똑한 방법을 만들 수 있습니다. **동적 컨텍스트 어댑터(Dynamic Context Adapters)**를 사용함으로써, 우리는 로봇에게 긴 복잡한 이야기를 이해하고, 컴퓨터 자원을 낭비하지 않으면서도 시간과 공간을 가로질러 탐색할 수 있는 능력을 부여할 수 있습니다. 이는 AI가 단순히 단일 스냅샷을 보는 것을 넘어, 사건의 흐름을 진정으로 이해할 수 있게 만드는 단계입니다.

저자들은 이 방법이 "우수한 효율성-성능 트레이드오프(superior efficiency-performance trade-off)"를 제공한다고 결론지었습니다. 즉, 빠르고 가벼우면서도 가장 어려운 내비게이션 퍼즐을 풀 수 있는 능력까지 갖춘, 두 마리 토끼를 모두 잡았다는 뜻입니다. 비록 이 연구는 시뮬레이션 환경(컴퓨터로 생성된 미로)에서 수행되었지만, 결과는 이 접근 방식이 배달 드론부터 가정용 보조 로봇에 이르기까지 실제 세계의 작업을 수행하는 로봇을 구축하는 방식에 혁명을 일으킬 수 있음을 강력하게 시사합니다. 로봇이 우리의 복잡하고 다층적인 삶 속을 수월하게 항해할 수 있도록 말입니다.