🤖 AI

verdi: retrieval is not transfer for continual world model optimization

이 논문은 검색을 직접적인 전이가 아닌 가설 생성 단계로 취급하고, 월드 모델 최적화에서 부정적 전이를 최소화하면서 검색 및 GPU 비용을 크게 절감하는 증거 기반 라이선스 최적화 전략을 구축하기 위해 타겟 측 검증을 요구하는 지속적 프레임워크인 VERDI를 소개한다.

원저자: Junyu Wu, Shiqin Nie, Youyi Kou, Baohua Yin, Guocai Yao, Qingyu Chen, Jingheng Ma, Shiji Zhou, Hongyong Song, Mingchen Zhuge, Sen Cui, Changshui Zhang

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junyu Wu, Shiqin Nie, Youyi Kou, Baohua Yin, Guocai Yao, Qingyu Chen, Jingheng Ma, Shiji Zhou, Hongyong Song, Mingchen Zhuge, Sen Cui, Changshui Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 '세계 모델(world model)'을 줍니다. 이것은 로봇이 팔을 움직이거나, 컵을 떨어뜨리거나, 방 안을 걸어 다닐 때 다음에 어떤 일이 일어날지 예측할 수 있는 아주 똑똑한 두뇌입니다. 이 모델들은 마치 수정구슬과 같아서, 로봇이 무언가에 부딪히며 배우지 않아도 되도록 미래를 시뮬레이션합니다. 하지만 여기 까다로운 문제가 있습니다. 가끔 이 수정구슬이 조금 흐릿해질 때가 있다는 점입니다. 예를 들어, 컵이 떨어지는 대신 공중에 떠다닐 것이라고 예측하거나, 문손잡이가 단단하다는 사실을 잊어버릴 수도 있습니다.

이 흐릿한 수정구슬을 고치기 위해, 과학자들은 보통 처음부터 다시 시작해야 합니다. 무엇이 잘못되었는지 추측하고, 다양한 '수정 방법'(코드나 학습 데이터를 바꾸는 것 등)을 시도하며, 그중 하나가 작동하기를 바라는 식이죠. 문제는, 한 로봇의 두뇌를 고쳤다고 해서 다음 로봇을 위해 이 모든 추측 게임을 반복할 필요는 없는데도(두 로봇이 거의 비슷하게 만들어졌더라도 말입니다), 매번 전체 과정을 다시 반복해야 한다는 것입니다. 이는 마치 정비사가 빨간 자동차의 타이어가 펑크 난 것을 고쳤는데, 다음번 파란 자동차의 타이어를 고칠 때는 첫 번째 작업의 노트를 전혀 보지 못한 채 어떻게 고쳐야 할지 다시 추측해야 하는 것과 같습니다. 이 논문은 우리가 바퀴를 계속해서 재발명할 필요가 없다고 주장합니다. 대신, 우리는 단순히 운에 맡기는 것이 아니라, 어떤 수정법이 다른 로봇에게도 실제로 효과가 있는지 시도하기 전에 미리 증명할 수 있는 방법이 필요합니다.

VERDI라고 불리는 이 연구진은 **"검색은 전이가 아니다(Retrieval is not Transfer)"**라는 엄격한 규칙을 도입하여 이 골칫거리를 해결합니다. 쉬운 말로 풀어서 설명하자면, 로봇 A에서 효과가 있었다고 해서 그것이 자동으로 로봇 B에도 좋은 아이디어라는 뜻은 아니라는 것입니다. 이는 마치 초콜릿 케이크에 성공했던 레시피를 찾았다고 해서, 작은 샘플을 맛보기도 전에 그 레시피가 딸기 케이크에도 성공할 것이라고 단정할 수 없는 것과 같습니다.

VERDI는 마치 매우 체계적이고 증거에 집착하는 연구 조수처럼 작동합니다. 그 작동 방식은 세 가지 간단한 단계로 이루어집니다:

지문(The Fingerprint): 먼저, VERDI는 단순히 로봇의 이름이나 구조를 보는 것이 아닙니다. 대신, 로봇이 어떻게 반응하는지 보기 위해 일련의 작고 해롭지 않은 "테스트"(프로브, probes)를 수행합니다. 만약 로봇의 두뇌를 쿡 찔렀을 때, 로봇이 혼란스러워하나요? 아니면 흥분하나요? VERDI는 이러한 반응들을 기록하여 고유한 "최적화 지문(Optimization Fingerprint)"을 만듭니다. 이것은 환자의 이름보다는 특정 약물에 대한 반응을 기록한 의료 차트와 같습니다.
가설(The Hypothesis): 새로운 로봇을 고쳐야 할 때, VERDI는 그 로봇의 지문을 보고 과거 로봇들의 지문과 비교합니다. 그리고 비슷한 모습의 지문들에 효과가 있었던 "아마도 효과가 있을 법한 수정법들"의 목록을 찾아냅니다. 하지만 여기서 마법 같은 점은, VERDI가 이 수정법들을 그냥 적용하지 않는다는 것입니다. VERDI는 이를 단순한 추측, 즉 "가설"로 취급합니다.
증명(The Proof): VERDI가 새로운 로봇을 실제로 변경하기 전에, 엄격하고 고정된 테스트를 실행합니다. VERDI는 로봇의 작고 안전한 버전에 이 수정법을 적용하여 실제로 효과가 있는지 확인합니다. 오직 테스트를 통해 그 수정법이 안전하고 효과적임이 증명되었을 때만, VERDI는 "좋아, 이제 이것은 진짜 수정법이다. 다음을 위해 저장해 두자"라고 말합니다.

이 논문은 이러한 신중하고 증거 기반적인 접근 방식이 게임 체인저임을 보여줍니다. VERDI는 수정법을 맹목적으로 복사하여 붙여넣기를 거부함으로써 엄청난 양의 컴퓨팅 자원을 절약했습니다. 해결책을 찾는 비용을 69% 줄였고, 탐색 시간을 68% 단축했습니다. 더 중요한 것은, VERDI가 무언가를 실수로 망가뜨리는 것을 막았다는 점입니다. 과거에는 수정법을 맹목적으로 복사하다가 "부정적 전이(negative transfer, 수정법이 오히려 상황을 악화시키는 현상)"가 발생하는 경우가 약 **34%**에 달했습니다. VERDI의 엄격한 테스트를 통하면 이 수치는 단 **6%**로 떨어졌습니다.

연구진은 또한 때때로 두 로봇이 서류상으로는 매우 비슷해 보이지만, 동일한 수정법에 대해 완전히 다르게 반응한다는 사실도 발견했습니다. 이런 일이 발생했을 때, VERDI는 포기하는 대신 자신의 "프로브" 테스트를 업데이트하여 로봇들을 구별하는 새로운 방법을 학습합니다. 이는 마치 용의자가 범인과 닮았지만 결국 무죄로 밝혀졌을 때, 다음에는 다른 단서를 찾도록 배우는 형사와 같습니다.

요약하자면, VERDI는 AI의 세계에서 지식이 한 모델에서 다른 모델로 전달된다고 해서 이를 당연하게 가정해서는 안 된다는 것을 증명합니다. 반드시 검증해야 합니다. 최적화 과정을 "테스트, 증명, 그리고 학습"의 순환 구조로 바꿈으로써, 연구진은 우리가 다양한 유형의 세계 모델에 실제로 작동하는 신뢰할 수 있는 수정법 라이브러리를 구축할 수 있음을 보여주었습니다. 이를 통해 실패한 실험에 끝없는 시간과 돈을 낭비하지 않고도 로봇을 더 똑똑하고 안전하게 만들 수 있습니다.

기술 요약: VERDI – 연속적 월드 모델 최적화를 위한 검색은 전이가 아니다

1. 문제 정의

파운데이션 월드 모델(Foundation world models)은 계획(planning), 시뮬레이션, 그리고 체화된 지능(embodied intelligence) 분야에서 크게 발전해 왔다. 그러나 사전 훈련된 월드 모델을 특정 사용자 목적에 맞게 최적화하는 과정은 비누적적(non-cumulative)인 프로세스로 남아 있다. 현재의 접근 방식들은 일반적으로 각 최적화 캠페인을 독립적인 노력으로 취급하여, 전략을 처음부터 다시 발견하게 되며, 이후의 모델로 지식을 전이(transfer)시키는 데 실패한다.

자율 연구 에이전트가 최적화 루프(실험 생성, 구현, 실행 및 평가)를 자동화할 수 있지만, 이들은 성공적인 전략을 직접 재사용 가능한 "레시피"로 취급하는 경-향이 있다. 이러한 접근 방식은 언제 전략을 전이에 적합한지 결정하기 위한 원칙적인 안전장치가 부족하다. 핵심 문제는 최적화 지식이 본질적으로 모델 의존적이라는 점이다. 유사한 아키텍처라도 반드시 유사한 최적화 행동을 보이는 것은 아니며, 서로 다른 아키텍처가 유사한 전략으로부터 이득을 얻을 수도 있다. 기존 시스템은 이질적인 월드 모델들을 최적화 관점에서 관계 맺는 원칙적인 방법을 결여하고 있으며, 이로 인해 반복적인 재발견과 지식 축적의 부재가 발생한다.

2. 방법론: VERDI 프레임워크

저자들은 검색을 직접적인 전이 메커니즘이 아닌 가설 생성 단계로 취급하도록 설계된 연속적 프레임워크인 VERDI(Verifiable Evidence-Licensed World Model Optimization)를 제안한다. 핵심 원칙은 다음과 같다: "검색은 전이가 아니다(Retrieval is not transfer)." 한 모델에서 검증된 전략은 다른 모델을 위한 최적화 가설일 뿐이며, 대상 측(target-side)의 실험적 검증을 거친 후에야 전이 가능한 지식이 된다.

VERDI는 4단계의 연속적 증거 루프로 작동한다:

A. 특징화 (최적화 핑거프린팅)

VERDI는 아키텍처 레이블이나 파라미터 수에 의존하는 대신, 공유된 추론 시 프로브(inference-time probes) 라이브러리를 사용하여 각 월드 모델을 특징화한다.

프로브(Probes): 이는 모델 파라미터나 최적화 목적을 변경하지 않고 추론 중에 적용되는 가역적인 의미론적 섭동(semantic perturbations)이다 (예: 동작 크기, 컨텍스트 유지 또는 샘플러 노이즈 수정).
최적화 핑거프린트 ( $\phi$ ): 주어진 캠페인에 대해, VERDI는 반응 자코비안( $J$ ), 부트스트랩 공분산( $\Sigma$ ), 그리고 불확실성 인지 메트릭( $G$ )을 추정한다. 이 핑거프린트는 모델이 특정 프로브에 어떻게 반응하는지를 포착하여, 행동적으로 구별 가능한 방향과 측정 정밀도를 요약한다.

B. 검색 (중재적 복구 기하학 - IRG)

VERDI는 월드 모델 간의 관계를 설정하기 위해 **중재적 복구 기하학(Interventional Repair Geometry, IRG)**을 사용한다.

유사도 메트릭: IRG는 구현 세부 사항이 아닌, 통제된 추론 중재에 대한 공유된 반응을 기반으로 최적화 유사성을 정의한다. 이는 핑거프린트의 불확실성 가중 거리를 사용하여 캠페인을 비교한다.
가설 생성: 시스템은 관련 선행 경험을 순위가 매겨진 최적화 가설(직접적인 전이가 아님)로서 검색한다. IRG 근접성, 소스 증거 품질 및 컨텍스트 중첩을 기반으로 호환 가능한 소스 효과를 집계한다.

C. 검증 (증거 라이선싱)

이것은 결정적인 안전장치이다. 검색된 기술이 단지 IRG 상에서 가깝다고 해서 지식이 되는 것은 아니다.

호환성 인증서(Compatibility Certificate): 전이 우선 순위 시험 전, 인증서는 컴파일 성공, 충분한 지원 중첩, 충분한 증거, 반응 정렬, 부호 일치, 그리고 콜드 스타트 대비 충분한 이득 등 6가지 조건을 확인한다.
대상 측 검증(Target-Side Validation): 모든 후보는 백본에 대해 컴파일되고 고정된 검증기(frozen verifier) 하에서 테스트된다.
- 스크리닝(Screening): 저비용 쌍 검사(paired screens)를 통해 실행 불가능한 후보를 제거한다.
- **확인(Confirmation):
  - 승격된 후보는 증가하는 호라이즌(horizon)을 가진 홀드아웃 멀티 시드 확인 과정을 거친다.
- 결과: 실험적으로 확정된 증거(긍정적, 무효, 유해 또는 상호작용 결과)만이 재사용 가능한 지식으로 수용된다.

D. 축적 (연속적 지식 진화)

WMOM & IEM: 검증된 결과는 **월드 모델 최적화 메모리(WMOM)**와 구조화된 **중재-효과 메모리(IEM)**를 업데이트한다. 여기에는 효과 벡터, 불확실성 및 전이 관계가 저장된다.
IRG 충돌 및 프로브 진화: 두 캠페인이 기하학적으로 가깝지만 동일한 기술에 대해 서로 호환되지 않는 검증된 효과를 생성하는 경우("IRG 충돌"), 이는 현재의 프로브 기저(basis)가 불충분하다는 역증거가 된다. 이는 새로운 진단 프로브를 제안하고 테스트하여 표현 자체를 정교화하는 **프로브 진화(probe evolution)**를 트리거한다.

3. 주요 기여

"검색은 전이가 아니다" 원칙: 이 논문은 공유된 추론 시 프로브를 통해 최적화 유사성을 측정하는 원칙적인 표현 및 비교 메커니즘을 도입하여, 검색은 가설을 우선순위화할 뿐이며 전이에는 실험적 검증이 필요함을 확립한다.
연속적 최적화 방법론: VERDI는 월드 모델 최적화를 연속적인 지식 축적 과정으로 정식화한다. 이는 수정을 절대적 점수가 아닌 쌍을 이룬 다중 좌표 효과 벡터(차등 복구 계약)로 표현하여, 전이 결정 전 트레이드오프를 명시적으로 만든다.
VERDI 프레임워크: 가설 생성과 증거 라이선싱을 위한 이중 제어 평면을 사용하여, 최적화 지식을 검색, 검증 및 축적하는 자율 시스템이다. 이는 이질적인 월드 모델 제품군(Ctrl-World, Cosmos, RoboCoin) 간의 효율적이고 신뢰할 수 있는 전이를 가능하게 한다.

4. 실험 결과

저자들은 다양한 목적(백본 최적화, 교차 모델 전이, 미보지 목표로의 적응) 하에 Ctrl-World, Cosmos 제품군, RoboCoin에서 VERDI를 평가했다.

효율성: VERDI는 베이스라인과 비교하여 검색 비용을 68%, GPU 비용을 69% 감소시켰다.
부정적 전이(Negative Transfer): 새로운 모델에 적용되는 유해한 전략의 비율이 무조건적 재사용 시 0.34에서 인증된 재사용 시 0.06으로 감소했다.
예측 정확도: 시스템은 83%의 부호(sign) 정확도로 전이 결과를 예측했다.
특정 복구(Repairs):
- Ctrl-World: 동작 부드러움(68.75 → 81.53)과 깊이 정확도(93.28 → 96.16)를 개선하는 동시에 보호된 회귀(예: 동적 차수)를 명시적으로 기록했다.
- Cosmos-Predict 2: 구조적 일관성을 개선하기 위해 DINOv2 가이던스를 적용했으며, 배경 일관성과의 검증된 트레이드오프를 확인했다.
- RoboCoin: 새로운 로봇 형태(embodiment)와 액션 인터페이스에 월드 모델을 성공적으로 적응시켜, 새로운 데이터셋으로부터 실행 가능한 훈련 태스크를 구축하는 프레임워크의 능력을 입증했다.
프로브 진화: 충돌 기반의 프로브 진화가 고정형 또는 게이트가 없는 성장 전략보다 로컬 차트 커버리지를 개선하고 선택 후회(selection regret)를 줄임을 실험을 통해 보여주었다.

5. 의의 및 주장

이 논문은 VERDI가 월드 모델 최적화의 패러다임을 고립된 캠페인에서 지속적으로 개선되는 최적화 지식 시스템으로 전환한다고 주장한다.

감사 가능성 및 안전성: "고정된 검증기"를 강제하고 모든 전이에 대해 실험적 검증을 요구함으로써, VERDI는 해롭거나 검증되지 않은 지식의 축적을 방지한다. 또한 평균 점수에 숨기는 것이 아니라 "보호된 회귀"(트레이드오프)를 명시적으로 추적한다.
확장성: 프레임워크는 아키텍처 유사성에 기반해 전이를 가정하는 대신 증거에 의해 라이선스가 부여되는 한, 이질적인 모델 간에 최적화 경험을 체계적으로 재사용할 수 있음을 입증한다.
겸손함: 저자들은 완전한 목표 계약과 유효한 평가기가 보장되어야 한다는 조건부 보장을 언급하며 한계를 인정한다. 그들은 시스템이 감사 가능성을 높이지만 진리를 보장하지는 않으며, 독립적인 복제와 인간의 검토가 필요하다고 밝힌다. 현재의 적응 능력은 임의의 형태가 아닌 특정 데이터셋 제품군 및 베이스 모델에 대해 확립된 것이다.

요약하자면, VERDI는 월드 모델의 지속적인 개선을 위한 엄격하고 증거 기반인 아키텍처를 제공하며, 지식 전이가 가정이 아닌 증거에 의해 라이선스되도록 보장함으로써 안전하고 검증 가능하며 누적적인 최적화를 실현한다.