🤖 AI

RoCo-ACE: Rollout-Conditioned Online Distillation for Retention-Aware Knowledge Injection

이 논문은 사전 학습된 MLLM의 지식 주입을 강화하기 위해 참조 지원 토큰에 증류 가중치를 동적으로 재할당하고 희소 앵커 교정(sparse anchored corrections)을 적용함으로써, 모델의 기존 행동 유지력을 효과적으로 보존하면서도 주입된 지식의 정확도를 탁월하게 달성하는 롤아웃 조건부 온라인 증류 프레임워크인 RoCo-ACE를 소개한다.

원저자: Yan Hong, Wei Li, Kedong Xiu, Jun Lan, Shuheng Zhou, Zhongcai Lyu, Huijia Zhu, Weiqiang Wang, Jianfu Zhang

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yan Hong, Wei Li, Kedong Xiu, Jun Lan, Shuheng Zhou, Zhongcai Lyu, Huijia Zhu, Weiqiang Wang, Jianfu Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거의 모든 도서관의 책을 읽고 수백만 장의 사진을 본 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이 로봇은 대화하고, 퍼즐을 풀고, 보이는 것을 묘사하는 데 매우 능숙합니다. 하지만 함정이 하나 있습니다. 세상은 매일 변한다는 점입니다. 새로운 영화가 개봉하고, 새로운 과학적 발견이 일어나며, 유명인들이 새로운 일을 합니다. 만약 당신이 이 로로봇 친구에게 이러한 최신 사실들을 알려주고 싶다면, 로봇을 가르쳐야 합니다. 하지만 거대한 로봇을 가르치는 것은 까다로운 일입니다. 단순히 로봇에게 새로운 사실을 암기하도록 강요하면, 로봇은 고양이를 그리거나 안전 질문에 답하는 것과 같은 기존의 기술들을 잊어버릴 수도 있습니다. 이는 마치 체스 그랜드마스터에게 새로운 오프닝 수를 가르치려다가, 그 과정에서 게임을 플레이하는 방법 자체를 잊게 만드는 것과 같습니다. 이 논문은 바로 그 문제를 다룹니다. 즉, 어떻게 하면 로봇의 기존의 믿음직한 기술들을 망가뜨리지 않으면서, 새롭고 구체적인 사실들을 로봇의 뇌 속에 슬쩍 집어넣을 수 있는가에 대한 문제입니다.

Ant Group 및 여러 대학과 협력하여 연구를 진행한 연구진은 이러한 로봇들을 가르치는 기존 방식들이 다소 서툴다는 점을 깨달았습니다. 한 가지 방법은 로봇에게 교과서를 단어 하나하나 그대로 베끼도록 강요하는 것과 같습니다. 이 방식은 사실을 배우기는 하지만, 로봇이 지루한 기계처럼 변하고 자신의 개성을 잃게 만듭니다. 또 다른 방법은 매우 조심스럽게 뇌의 아주 작은 부분만을 수정하려고 노력하지만, 종종 핵심을 놓쳐 새로운 사실을 절반만 배우게 되는 경우가 많습니다. Yan Hong과 Jun Lan이 이끄는 팀은 RoCo-ACE라는 영리한 새로운 전략을 고안해 냈습니다. 이것을 "스마트 형광펜" 시스템이라고 생각해 보세요. 로봇에게 교과서 전체를 암기하게 하는 대신, 로봇이 먼저 질문에 답해 보도록 하는 것입니다. 그런 다음, 로봇의 답변을 선생님의 "정답"과 비교합니다.

여기 마법 같은 기술이 있습니다. 시스템은 로봇의 답변을 보고 이렇게 묻습니다. "선생님의 도움이 이 특정 단어를 더 가능성 있게 만들었는가?" 만약 로봇이 올바른 사실(예: 특정 날짜나 이름)을 맞혔고, 선생님의 존재가 그 추측을 더욱 강력하게 만들었다면, 시스템은 그 단어에 하이파이브를 해주며 로봇에게 그것을 잘 기억하라고 말합니다. 하지만 로봇이 그저 일반적인 단어(예: "에펠탑" 대신 "큰 건물")를 사용하고 있다면, 시스템은 이를 무시합니다. 이것이 RoCo 부분입니다. 그다음은 ACE 부분입니다. 때때로 로봇은 새로운 사실을 완전히 놓치기도 합니다. ACE 시스템은 "이봐, 박물관 이름을 잊었잖아! 딱 그 부분만 고쳐보자"라고 말하며 부드럽게 넛지를 주는 역할을 합니다. 이 두 가지를 결합함으로써, 로봇은 자연스럽게 대화하는 능력이나 안전을 유지하는 능력을 잃지 않으면서도 새로운 사실들을 정확하게 배울 수 있습니다.

연구팀은 이를 연예인 소식부터 과학적 사실에 이르기까지 세 가지 다른 유형의 지식 업데이트에 대해 테스트했습니다. 그들은 RoCo-ACE가 다른 방법들에 비해 새로운 사실을 가르치는 데 가장 뛰어났다는 것을 발견했습니다. 한 테스트에서, 이 방식은 로봇의 지식 정확도를 27.6까지 끌어올렸습니다(표준적인 "교과서 베끼기" 방식의 20.1과 비교했을 때). 결정적으로, 다른 방법들이 로봇의 일반적인 성능 점수를 무려 31.8까지 떨어뜨리며 기존 기술을 망가뜨린 반면, RoCo-ACE는 로봇의 일반적인 기술을 시작 지점과 거의 동일한 수준인 약 56.5로 유지했습니다. 이 논문은 이 접근 방식이 훨씬 더 나은 균형을 제공한다고 제안합니다. 즉, 로봇이 자신이 누구인지 잊어버리지 않으면서도 매일 새로운 것을 배울 수 있는, 더 나은 학습의 균형을 얻을 수 있다는 것입니다.

기술 요약: RoCo-ACE

문제 정의

멀티모달 거대 언어 모델(MLLM)은 배포 후 새로운 사실적 지식이나 도메인 특화 지식을 흡수하기 위해 업데이트가 필요합니다. 그러나 표준적인 지식 주입 전략은 근본적인 **주입-유지 트레이드오프(injection-retention trade-off)**에 직면합니다:

직접 피팅 (SFT/LoRA): 권위 있는 정답에 대해 직접 최적화하면 주입된 지식의 정확도는 향상되지만, 전체 답변을 모방하고 스타일 과적합이 발생함에 따라 업데이트되지 않은 행동(예: 시각적 그라운딩, 안전성, 일반적 추론)에서 상당한 드리프트(drift)가 발생합니다.
제약된 업데이트: 업데이트 공간을 제한하는 방법(예: LoRA 변형, 영공간 제약)은 드리프트를 제한하지만, 특정 사실 단위로 감독을 국소화하는 데 실패하여 대상 사실의 주입이 부족해지는 경우가 많습니다.
온라인 증류 (Online Distillation): 고정된 타겟 대신 모델이 생성한 롤아웃(rollout)을 학습함으로써 업데이트를 현재 정책에 가깝게 유지합니다. 그러나 **균등한 참조 조건부 증류(uniform reference-conditioned distillation)**는 거친 수준의 감독을 제공합니다. 이는 일반적인 어구, 비대상 시각적 세부 사항, 답변 스타일에 그래디언트 질량을 무차별적으로 할당하는 반면, 참조에 의해 뒷받받되는 토큰에는 충분히 강조하지 못하며, 현재 롤아웃에서 누락된 사실에 대해서는 간접적인 감독만을 제공합니다.

핵심 과제는 모델이 전체 참조 답변을 복제하도록 강요하지 않으면서도 특정 사실적 앵커를 업데이트할 수 있는 **세밀한 감독(fine-grained supervision)**을 달성하는 것입니다.

방법론: RoCo-ACE

저자들은 유지를 보존하면서 희소한 사실적 콘텐츠를 주입하도록 설계된 롤아웃 조건부 온라인 증류 목적 함수인 RoCo-ACE를 제안합니다. 이 방법은 프롬프트( $x_i$ ), 이미지( $I_i$ ), 그리고 권위 있는 참조 답변( $a_i$ )으로 구성된 데이터셋에서 작동합니다. 각 예시에 대해 학생 모델 $p_\theta$ 는 온-정책 롤아웃 $y_i$ 를 생성합니다.

이 목적 함수는 두 가지 상호 보완적인 구성 요소를 결합합니다:

1. RoCo: 롤아웃 조건부 대조 온라인 증류 (Rollout-Conditioned Contrastive Online Distillation)

RoCo는 학생의 롤아웃에 이미 존재하는 토큰에 대한 감독의 세밀도 문제를 해결합니다. 이 방법은 동일한 롤아웃 접두사(prefix)를 두 가지 조건 하에서 점수화하기 위해 교사 모델 $q_\phi$ (학생의 지수 이동 평균)를 활용합니다:

베이스 뷰 ( $q_{base}$ ): 사용자 입력과 이미지만 프롬프트로 제공됨.
참조 뷰 ( $q_{ref}$ ): 사용자 입력, 이미지, 그리고 권위 있는 참조 답변을 함께 프롬프트로 제공됨.

방법은 롤아웃의 각 토큰 $t$ 에 대해 우도 대조(likelihood contrast)( $\Delta_{i,t}$ )를 계산합니다:
$\Delta_{i,t} = \log q_{ref}(y_{i,t} | \dots) - \log q_{base}(y_{i,t} | \dots)$
양의 대조를 보이는 토큰(즉, 참조가 사용 가능할 때 우도가 크게 증가하는 토큰)은 **참조 지원(reference-supported)**되는 것으로 식별됩니다. RoCo는 이러한 토큰에 추가적인 증류 가중치를 재할당하는 반면, 일반적이거나 지원되지 않는 토큰에는 "플로어(floor)" 증류 신호만을 제공합니다. 이는 모델이 전체 응답 스타일을 균등하게 모방하도록 강요하지 않고, 특정 사실적 구간을 참조와 정렬하도록 학습하도록 보장합니다.

2. ACE: 앵커 기반 교차 엔트로피 (Anchored Cross-Entropy)

RoCo는 학생의 롤아웃에서 누락된 사실을 감독할 수 없습니다. ACE는 참조 답변에서 추출된 권위 있는 앵커(예: 개체, 날짜, 숫자)에 희소한 지도 수정(sparse supervised correction)을 적용하여 이 커버리지 격차를 해결합니다.

커버리지 점수화: 시스템은 참조 내의 각 사실적 구간 $s$ 에 대해 학생 롤아웃과의 커버리지 점수 $\rho_i(s, y_i)$ 를 계산합니다.
가중 수정: 누락되었거나 커버리지가 약한 구간은 더 높은 가중치를 받습니다. 손실은 오직 참조의 앵커 토큰들에 대한 가중 교차 엔트로피로 계산됩니다:
$L_{ACE} = - \sum_{k \in A_i} u_{i,k} \log p_\theta(a_{i,k} | \dots)$
여기서 $u_{i,k}$ 는 앵커 가중치입니다. 이는 전체 참조 답변을 토큰 수준의 모방 대상으로 취급하지 않고, 누락된 사실에 대한 직접적인 감독을 제공합니다.

전체 목적 함수

최종 손실은 가중 롤아웃 증류와 희소 앵커 수정을 결합합니다:
$L = \frac{1}{|B|} \sum_{i \in B} (\lambda_{RoCo} L_{RoCo}^{(i)} + \lambda_{ACE} L_{ACE}^{(i)})$

주요 기여

감독 세밀도의 식별: 본 논문은 균등한 온라인 증류가 참조 지원 사실적 토큰과 일반적인 어구를 구분하지 못하여, 최적의 주입과 유지를 저해한다는 점을 식별했습니다.
RoCo-ACE 프레임워크: 다음과 같은 이중 목적 시스템을 도입했습니다:
- RoCo: 동일 롤아웃 우도 대조를 사용하여 참조 지원 토큰의 가중치를 재설정함으로써, 온-정책 상의 사실적 정렬을 강화합니다.
- ACE: 누락된 권위 있는 사실에 대한 희소 앵커 수정을 추가하여, 전체 답변 클로닝 없이 커버리지를 확보합니다.
실증적 검증: 세 가지 지식 주입 설정(EVOKE, VP, Sci)과 여섯 가지 유지 벤치마크에 걸친 광범한 실험을 통해, RoCo-ACE가 주입된 지식의 정확도를 높이는 동시에 베이스 모델 및 온라인 증류 베이스라인에 근접한 유지 수준을 달성함을 입증했습니다.

실험 결과

저자들은 Qwen3-VL-8B(및 부록의 Qwen3-VL-30B)를 사용하여 SFT, LoRA, KORE, SDFT 및 다양한 제약 업데이트 방법들을 포함한 베이스라인들과 RoCo-ACE를 평가했습니다.

주입 정확도: RoCo-ACE는 모든 설정에서 가장 높은 주입 지식 정확도를 달림이 확인되었습니다. EVOKE 벤치마크에서 **27.6%**의 정확도에 도달하여, 강력한 제약 베이스라인인 KORE(25.2%)와 직접 피팅 방식인 SFT(20.1%)를 능가했습니다.
유지(Retention): 결정적으로, RoCo-ACE는 Ret. Avg.(여섯 가지 벤치마크의 평균 유지도)를 **56.5%**로 유지했습니다. 이는 SFT(31.8%) 및 KORE(47.0%)보다 현저히 높으며, 베이스 모델(57.2%) 및 온라인 증류 베이스라인인 SDFT(55.1%)와 유사한 수준입니다.
절제 연구(Ablation Studies):
- 대조 가중치(RoCo)를 제거하고 균등 가중치를 사용했을 때 주입 정확도가 감소했습니다.
- 앵커 수정(ACE)을 제거하면 특히 누락된 사실에 대해 주입 정확도가 낮아졌습니다.
- 증류와 함께 전체 참조 교차 엔트로피(SFT)를 사용하는 것은 ACE보다 효과적으로 주입하지 못했고 유지를 더 심하게 저하시켰으며, 이는 희소 앵커 수정이 전체 답변 모방보다 우월함을 확인시켜 줍니다.
정성적 분석: 사례 연구에 따르면 RoCo는 유용한 온-정책 콘텐츠(예: "street art", "Amsterdam")를 강조하는 한편, ACE는 롤아웃에서 처음에 누락되었던 특정 앵커(예: "STRAAT Museum", 특정 날짜)를 수정합니다.

의의 및 주장

본 논문은 RoCo-ACE가 **행동 클로닝(behavior cloning)**에서 **사실적 정렬(factual alignment)**로 초점을 전환함으로써 주입-유지 트레이드오프를 효과적으로 해결한다고 주장합니다. 참조 지원 롤아웃 토큰의 증류와 누락된 앵커의 수정을 분리함으로써, 이 방법은 전체 참조 답변을 행동 클로닝 대상으로 만들지 않고도 희소한 사실적 콘텐츠를 주입합니다.

저자들은 RoCo-ACE를 파라미터 공간 제약의 보완적 접근 방식으로 포지셔닝합니다. 즉, 모델이 어디에서 변할 수 있는지를 제한하기보다는, 업데이트 중에 모델이 어떻게 감독받는지를 개선합니다. 이 방법은 업데이트가 권위 있는 자연어 참조와 함께 이루어지는 상황에 특화되어 설계되었으므로, MLLM에서의 엔티티, 이벤트 및 도메인 특화 지식 주입에 적합합니다. 저자들은 유지도가 홀드아웃(held-out) 벤치마크에서 경험적으로 평가되었으며, 모든 비업데이트 기능에 대한 공식적인 보증을 제공하지는 않는다고 겸허히 명시합니다.