🤖 AI

Information-Theoretic Constraints for Continual Vision-Language-Action Alignment

이 논문은 비전 - 언어 - 행동 (VLA) 모델의 지속적 학습 중 발생하는 망각 문제를 해결하기 위해, 고정된 교사 모델로부터의 정적 앵커를 활용한 대비 학습과 상호 정보 최대화를 통해 교차 모달 정보 구조를 보존하는 'Info-VLA' 프레임워크를 제안하고 LIBERO 환경에서 기존 방법보다 뛰어난 성능을 입증했습니다.

원저자: Libang Zhao, Qixin Zeng, Hongyin Zhang, Donglin Wang

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Libang Zhao, Qixin Zeng, Hongyin Zhang, Donglin Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇이 새로운 일을 배우면서 예전에 배운 일을 까먹는 문제 (기억 상실)"**를 해결하기 위한 새로운 방법을 소개합니다.

로봇이 새로운 기술을 배울 때마다 예전에 배운 기술이 사라지는 현상을 **'재앙적 망각 (Catastrophic Forgetting)'**이라고 부르는데, 이 논문은 이를 **'정보의 구조가 무너지는 것'**으로 설명하며 이를 막아주는 **'Info-VLA'**라는 시스템을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🤖 로봇의 두뇌와 '기억의 혼란'

상상해 보세요. 로봇이 시각 (눈), 언어 (귀), **행동 (손)**을 동시에 사용하는 똑똑한 비서라고 가정해 봅시다.

상황: 로봇이 "컵을 들어"라는 명령을 듣고 컵을 잡는 법을 배웠습니다. 이때 로봇의 뇌에서는 **'컵 (시각)'**과 **'잡아 (언어)'**와 **'손 움직임 (행동)'**이 아주 단단하게 연결되어 있습니다.
문제: 이제 로봇에게 "서랍을 열어"라는 새로운 일을 가르칩니다. 로봇은 열심히 배우지만, 그 과정에서 예전에 컵을 잡을 때의 연결 고리가 흐트러집니다.
결과: 나중에 다시 "컵을 들어"라고 시키면, 로봇은 서랍을 열려고 하거나, 컵이 아닌 배경의 테이블을 잡으려 합니다. 눈, 귀, 손이 서로 소통하던 '구조'가 무너져 버린 것입니다.

기존의 방법들은 단순히 "예전 데이터도 같이 보여줘" (리플레이) 하거나 "무거운 파라미터는 건드리지 마" (규제) 하는 식으로 해결하려 했지만, 눈과 귀가 서로 어떻게 연결되었는지 그 '관계의 구조' 자체를 지켜주지는 못했습니다.

💡 Info-VLA: 로봇의 기억을 지키는 두 가지 비법

이 논문이 제안한 Info-VLA는 로봇이 새로운 것을 배우면서도 예전의 연결 고리가 무너지지 않도록 두 가지 강력한 비법을 사용합니다.

1. 📸 '변하지 않는 사진'으로 기준을 세우기 (Replay Anchor Contrastive Learning)

비유: 로봇이 새로운 일을 배우기 전, '冻结된 (얼어붙은) 선생님' 모델을 만듭니다. 이 선생님은 예전에 컵을 잡을 때의 완벽한 기억을 가지고 있습니다.
작동 원리: 새로운 일을 배우는 동안, 로봇 (학생) 은 이 선생님 모델을 보며 "내가 만든 컵 잡기 기억이 선생님의 기억과 얼마나 비슷한지"를 계속 비교합니다.
효과: 마치 나침반처럼, 새로운 길을 가더라도 예전 배운 방향 (컵 잡기) 을 잃어버리지 않고 '기준점'을 유지하게 해줍니다.

2. 🔗 '눈과 귀의 대화'를 최대화하기 (Cross-Modal Mutual Information Maximization)

비유: 컵을 잡을 때 로봇의 **눈 (시각)**과 **귀 (언어)**는 아주 깊은 대화를 나누고 있습니다. "컵이 여기 있구나"라고 눈이 말하면, 귀는 "그럼 잡아야지"라고 반응합니다.
문제: 새로운 일을 배우면 이 대화의 흐름이 끊기거나 엉켜버립니다.
해결: Info-VLA 는 눈과 귀가 나누던 대화의 '통계적 패턴' 자체를 보존합니다. 단순히 "이 컵을 잡으라"는 명령만 외우는 게 아니라, **"눈이 무엇을 보고 귀가 어떻게 반응해야 하는지 그 관계의 질감"**을 그대로 유지하도록 강제합니다.
효과: 로봇이 새로운 서랍을 열더라도, 예전 컵을 잡을 때의 '눈과 귀의 호흡'이 깨지지 않아서 혼란을 겪지 않습니다.

🏆 실험 결과: 왜 이 방법이 좋은가요?

연구진은 LIBERO라는 로봇 학습 테스트에서 이 방법을 검증했습니다.

기존 방법 (ER, EWC 등): 새로운 일을 배우면 예전 일을 50% 이상 까먹거나, 성능이 급격히 떨어졌습니다.
Info-VLA: 새로운 일을 배우면서도 예전 일을 약 70~80% 이상 잘 기억해냈습니다.
시각화 결과: 다른 방법들은 로봇의 '주의 (Attention)'가 엉뚱한 곳 (배경 등) 으로 흩어졌지만, Info-VLA 는 정확히 목표물 (컵, 서랍) 에 집중하는 패턴을 유지했습니다.

📝 한 줄 요약

"로봇이 새로운 일을 배울 때, 예전에 배운 '눈 - 귀 - 손'의 연결 고리가 무너지지 않도록, '변하지 않는 기준 (선생님)'과 '관계의 구조 (대화 패턴)'를 동시에 지켜주는 새로운 학습법"

이 방법은 로봇이 평생 동안 새로운 기술을 배우면서도, 예전에 배운 지혜를 잃지 않고 더 똑똑해질 수 있는 길을 열어줍니다.

논문 요약: Info-VLA (정보 이론적 제약을 통한 지속적 비전 - 언어 - 행동 정렬)

1. 문제 정의 (Problem)

로봇이 개방형 환경에서 작동할 때, 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델은 새로운 기술을 지속적으로 습득해야 합니다. 그러나 기존 VLA 모델은 새로운 작업을 학습할 때 이전 작업의 성능이 급격히 저하되는 치명적 망각 (Catastrophic Forgetting) 현상에 시달립니다.

핵심 원인: 기존 연구들은 주로 단일 모달리티의 망각에 초점을 맞추었으나, VLA 모델의 망각은 모달리티 간 정보 구조의 열화 (Degradation of cross-modal information structure) 와 관련이 깊습니다.
구체적 현상: 모델이 새로운 작업에 적응함에 따라 시각적 관찰 (Visual), 언어 지시 (Language), 행동 (Action) 간의 의존성 관계가 점차 희석 (Diffusion) 됩니다. 예를 들어, 특정 객체에 집중해야 할 주의 (Attention) 메커니즘이 배경이나 관련 없는 영역으로 퍼져나가며, 작업 구별 능력이 떨어집니다.
기존 방법의 한계: 경험 재생 (Experience Replay), 파라미터 정규화 (EWC 등), 아키텍처 확장 등의 기존 지속적 학습 기법은 이러한 모달리티 간의 구조적 결합 (Structural Decoupling) 을 보존하지 못합니다.

2. 방법론 (Methodology: Info-VLA)

저자들은 Info-VLA라는 새로운 지속적 학습 프레임워크를 제안합니다. 이는 정보 이론적 제약을 통해 모달리티 간 정보 구조를 보존하면서도 행동 적응을 가능하게 합니다. Info-VLA 는 두 가지 상호 보완적인 제약 조건을 통해 작동합니다.

가. 재생 앵커 대비 학습 (Replay Anchor Contrastive Learning, RAC)

목적: 새로운 작업 학습 시 과거의 표현 (Representation) 구조가 덮어쓰이는 것을 방지하고, 작업별 표현 공간을 분리합니다.
구현:
- 각 작업 학습이 완료된 후 모델을 'Teacher 모델'로 고정 (Freeze) 합니다.
- 과거 데이터 (Replay Buffer) 를 Teacher 모델에 통과시켜 안정적인 시각적 임베딩 (Visual Embeddings) 을 추출하여 '앵커 (Anchor)'로 사용합니다.
- 현재 학습 중인 'Student 모델'은 동일한 과거 데이터에 대해 Teacher 의 앵커와 유사하게 매칭되도록 (Positive Pair) 하고, 다른 작업 데이터와는 분리되도록 (Negative Pair) 대비 학습 (Contrastive Learning) 을 수행합니다.
- 이를 통해 과거의 시각 - 언어 정렬 구조를 보존하면서 새로운 작업의 표현을 학습합니다.

나. 모달리티 간 상호 정보 최대화 (Cross-Modal Mutual Information Maximization, CMI)

목적: 시각과 언어 표현 간의 전역적 통계적 의존성 (Global Dependency) 을 보존합니다. 단순한 점별 (Pointwise) 활성화 모방이 아닌, 분포 수준의 구조적 일관성을 유지합니다.
구현:
- Teacher 모델의 시각 - 언어 잠재 표현 ( $Z_{old}$ ) 과 Student 모델의 표현 ( $Z_{new}$ ) 간의 상호 정보 (Mutual Information, MI) 를 최대화합니다.
- 이는 Teacher 가 학습한 클래스 경계, 샘플 간 유사성, 계층적 개념 관계가 Student 에게 전이되도록 합니다.
- 한계 보완: MI 최대화만으로는 분산이 과도하게 좁아질 수 있으므로, 한계 일관성 정규화 (Marginal Consistency Regularization) 를 추가하여 Teacher 와 Student 의 전역적 행동 의도 분포를 정렬합니다.

다. 전체 학습 목표 (Overall Objective)
전체 손실 함수는 기본 행동 생성 손실 (Flow-matching loss), RAC 손실, CMI 손실을 가중치 ( $\lambda_1, \lambda_2$ ) 와 함께 결합합니다.
$\mathcal{L} = \mathcal{L}_{CL} + \lambda_1 \mathcal{L}_{RAC} + \lambda_2 \mathcal{L}_{CMI}$

학습 중에는 비전 - 언어 인코더는 고정하고, 행동 헤드 (Action Head) 파라미터만 업데이트하여 대규모 모델의 안정성을 유지합니다.

3. 주요 기여 (Key Contributions)

근본 원인 규명: VLA 지속적 학습에서 치명적 망각의 주된 원인이 모달리티 간 의존성 구조의 왜곡 (Structural Distortion) 에 있음을 최초로 규명했습니다.
Info-VLA 프레임워크 제안: 재생 앵커 대비 학습과 상호 정보 기반 증류 (Distillation) 를 결합하여, 모달리티 간 구조적 안정성을 유지하는 통합 프레임워크를 제시했습니다.
성능 입증: LIBERO 벤치마크를 통한 광범위한 실험을 통해 기존 방법들보다 뛰어난 작업 유지 (Task Retention) 및 적응 (Adaptation) 효율을 입증했습니다.

4. 실험 결과 (Results)

벤치마크: LIBERO-Long (10 개의 순차적 장기 작업) 및 LIBERO-Goal (5 개의 목표 기반 작업) 에서 평가 수행.
비교 대상: Multitask (상한선), Sequential (망각 심함), EWC, Experience Replay (ER) 등.
성능:
- LIBERO-Long: 기존 최상위 기법인 ER 대비 이전 작업 (Old-task) 정확도를 약 6~9% 향상시켰으며, 전체 평균 정확도 (AA) 에서도 우위를 보였습니다.
- LIBERO-Goal: ER 대비 약 5~10% 의 성능 향상을 기록했습니다.
- 망각 감소: Negative Backward Transfer (NBT) 지표에서 망각이 현저히 줄어들었으며, 일부 작업에서는 후속 학습을 통해 오히려 성능이 향상되는 (Negative NBT) 현상도 관찰되었습니다.
시각화 분석: 주의도 (Attention) 맵 분석 결과, Info-VLA 는 ER 에 비해 초기 학습 단계의 시각 - 언어 정렬 패턴을 훨씬 잘 보존하여, 불필요한 배경에 대한 주의 집중이 감소함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 로봇의 지속적 학습에서 단순히 파라미터를 보호하는 것을 넘어, 다중 모달리티 간의 정보 구조 (Cross-modal Information Structure) 를 보존하는 것이 핵심임을 강조합니다. Info-VLA 는 정보 이론적 관점에서 접근하여, 로봇이 새로운 환경과 작업을 경험하더라도 과거에 습득한 복잡한 지시와 행동 간의 논리적 연결고리를 유지할 수 있게 합니다. 이는 실제 로봇이 장기적으로 다양한 작업을 수행해야 하는 실제 로봇 플랫폼 (Real-world Robotic Platforms) 에 적용될 때 필수적인 기술적 토대를 마련했다는 점에서 큰 의의가 있습니다.