기술 요약: Key-Gram

문제 정의

구체적 조작 (Embodied manipulation) 은 재사용 가능한 세계 지식 (사물, 기술, 관계, 제약 조건) 을 동시에 보존하면서도 행동 하에서 동적인 시각 상태를 지속적으로 적응하도록 모델을 요구합니다. 현재 비전 - 언어 - 행동 (VLA) 모델과 세계 - 행동 모델 (WAMs) 은 일반적으로 공유된 백본 (backbone) 또는 조건부 경로 내에서 언어 지식과 시각 계산을 결합합니다. 이러한 설계는 두 가지 주요 문제를 초래합니다:

1. 모달리티 경쟁 (Modality Competition): 밀집된 융합 (dense fusion) 접근법에서 소수의 지시 토큰이 동일한 어텐션 스트림 내에서 크고 지속적으로 변화하는 시각 토큰 집합과 경쟁하여, 지시 특화 정보가 희석될 수 있습니다.
2. 취약한 지식 확장 (Fragile Knowledge Extension): 조건부 생성 모델에서 언어는 종종 프롬프트와 같은 조향 신호로만 작용하며, 구성적 세계 지식은 암묵적으로 생성 백본에 내재되어 있습니다. 결과적으로 새로운 물리적 체제에 적응하거나 새로운 지식을 습득하는 것은 종종 이전에 획득한 세계 지식을 덮어쓸 수 있는 경사도 업데이트를 필요로 하므로, 지속적인 적응과 모듈식 확장은 본질적으로 취약합니다.

방법론: Key-Gram

저자들은 언어에서 유래된 세계 지식과 시각 상태 추론을 기능적으로 분리하는 조건부 메모리 프레임워크인 Key-Gram을 제안합니다. 핵심 철학은 시각 계산이 장면 역학 (상태 진화와 행동) 에 집중해야 하는 반면, 언어는 추상적 작업 사전 지식을 위한 컴팩트하고 재사용 가능한 인덱스로 기능해야 한다는 것입니다.

1. 희소 Key-Gram 검색

시스템은 원시 토큰을 처리하는 대신 언어 지시 $I$를 작업별 Key-Gram(예: "머그잔을 전자레인지에 넣기", "문 닫기") 의 작은 집합으로 분해합니다.

• 추출: 경량 파서가 지시에서 고정 길이의 지식 담지 단위를 추출합니다.
• 해시된 룩업: 각 Key-Gram 은 고정 길이의 정수 키로 변환되어 **결정론적 해시 룩업 (deterministic hashed lookup)**을 통해 정적 메모리 임베딩에 매핑됩니다. 이는 여러 해시 헤드 ($H$) 와 레이어 ($\ell$) 에 걸쳐 메모리 인덱스를 계산하기 위해 곱셈 - XOR 해시를 포함합니다.
• 확장성: 메모리는 여러 물리적 서브테이블로 구성된 논리적 테이블로 조직화됩니다. 이를 통해 시스템은 백본을 수정하지 않고도 지시 길이 (Key-Gram 슬롯 추가) 와 작업 복잡성 (병렬 서브테이블 추가) 에 따라 확장할 수 있습니다.

2. 컨텍스트 적응형 융합

검색된 임베딩은 잔차 모듈을 통해 시각 백본의 선택된 Transformer 레이어에 주입됩니다:

• 게이팅: 시각 은닉 상태 ($H^{(\ell)}$) 와 투영된 메모리 키 ($K_m^{(\ell)}$) 간의 스케일된 점곱을 사용하여 토큰별 게이트가 계산됩니다. 이 게이트 ($A^{(\ell)}$) 는 각 시각 토큰에 대해 검색된 언어적 메모리의 관련성을 결정하여, 사전 지식이 유용한 곳에만 주입되도록 보장합니다.
• 합성곱 정제: 게이팅된 메모리 특징은 주입 전에 이질적인 지시 수준 지식 구성 요소를 혼합하기 위해 경량 장스팬 합성곱을 통과합니다.
• 잔차 주입: 정제된 특징은 표준 어텐션 계산 전에 원래 은닉 상태에 추가됩니다 ($\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$).

3. 예측 헤드

메모리 유도 백본은 두 가지 하류 경로를 지원합니다:

• 비전 추론: 최종 레이어 은닉 상태는 교차 어텐션을 통해 적응되어 컴팩트한 미래 시각 잠재 변수 (시각적 예지) 를 예측합니다.
• 행동 추론: 경량 행동 전문가는 백본의 KV 캐시를 조건부 컨텍스트로 사용하여 플로우 매칭 디노이징을 통해 행동 궤적을 디코딩합니다.

4. 시스템 효율성

메모리 테이블은 총 메모리 크기에 대해 O(1) 룩업으로 설계되었습니다. 추론 중 인덱스는 지시와 고정된 해시 함수에 의해서만 결정되므로, 대규모 지식 테이블이 호스트 (CPU) 메모리에 상주할 수 있는 반면 백본은 시각 추론에 집중할 수 있습니다.

주요 기여

1. 기능적으로 분리된 프레임워크: Key-Gram 은 지시 측 세계 지식 검색과 비전 측 물리적 추론을 분리하여 구체적 제어에서의 모달리티 경쟁을 줄입니다.
2. 확장 가능한 외부 메모리: 재사용 가능한 언어적 사전 지식을 결정론적 해시 룩업을 통해 접근하는 구조화된 메모리에 저장합니다. 이는 백본 가중치를 다시 작성하지 않고도 새로운 사물, 기술 또는 관계를 추가하는 모듈식 지식 확장을 가능하게 합니다.
3. 일관된 성능 향상: 이 접근법은 다양한 언어적 표현과 환경에서 향상된 구성적 그라운딩, 전이, 적응을 입증합니다.

실험 결과

저자들은 $\pi0$ 및 $\pi0.5$ 백본을 사용하여 RoboTwin2.0, LIBERO, LIBERO-Plus, 그리고 실제 세계 양팔 조작 작업에서 Key-Gram 을 평가했습니다.

• RoboTwin2.0: Key-Gram 은 $\pi0$의 경우 평균 성공률을 **29.5%**로, $\pi0.5$의 경우 **9.9%**로 향상시켰습니다. 향상은 "Hard" 설정과 더 긴 시간 범위에서 특히 두드러졌습니다.
• LIBERO-Plus 전이: LIBERO-훈련된 모델에서 LIBERO-Plus 로의 제로샷 전이 (대상 도메인 미세 조정 없이) 에서 Key-Gram 은 $\pi0$의 경우 **35.8%**의 상대적 향상과 $\pi0.5$의 경우 **4.5%**의 향상을 달성했습니다.
• 실제 세계 장시간 범위 작업: Piper 양팔 플랫폼에서 Key-Gram 은 평균 성능을 $\pi0$의 경우 15.4%, $\pi0.5$의 경우 8.1% 향상시켰습니다. 가장 큰 향상은 조립 작업에서 관찰되었으며, 이는 메모리가 사물 관계와 하위 목표 구조를 유지하는 데 도움이 됨을 시사합니다.
• 확장 작업: 보이지 않는 구성적 페어링 (예: 사물과 목표 재조합) 에서 Key-Gram 은 성능을 크게 향상시켰습니다 (예: 특정 전이 작업에서 $\pi0$의 경우 +34.6% 및 +41.7%). 반면 기본 모델들은 이러한 재조합 시나리오에서 종종 실패했습니다.
• 어블레이션 연구: 레이어 배치 분석은 초기 레이어 (예: 레이어 1) 에 메모리를 주입하는 것이 가장 중요하며, 더 깊은 주입은 체감 수익을 보임을 밝혔습니다. 이는 처리 파이프라인 초기에 외부 사전 지식이 백본의 지식 관련 부담을 줄인다는 가설을 지지합니다.

중요성 및 주장

이 논문은 밀집된 토큰 융합이나 거친 생성적 조건부 설정보다 구체적 지능을 위한 더 효과적인 귀납적 편향을 제공하기 위해 언어 측 세계 지식 검색과 비전 측 물리적 추론을 분리한다고 주장합니다.

Key-Gram 은 언어를 경쟁 토큰 스트림이 아닌 확장 가능한 인덱스로 취급함으로써 정적 세계 지식과 온라인 물리적 추론 사이의 긴장을 해결합니다. 모듈식 메모리 테이블로 지식을 외부화함으로써, 이 프레임워크는 다음과 같은 것을 가능하게 합니다:

• 모듈식 지식 성장: 기존 가중치를 덮어쓰지 않고 새로운 지식을 새로운 항목으로 추가할 수 있습니다.
• 경사도 간섭으로부터의 보호: 백본 적응 중 기존 메모리가 보호되므로, 이 아키텍처는 오픈 월드 배포 및 지속적 축적과 자연스럽게 호환됩니다.
• 효율적 확장: O(1) 룩업 패턴과 메모리 및 계산의 분리는 시각 백본의 계산 비용을 증가시키지 않고도 대규모 지식 베이스를 효율적으로 처리할 수 있게 합니다.

저자들은 이 경량화되고 확장 가능한 방향이 구체적 조작에서 구성적 그라운딩과 전이를 개선하기 위한 실용적인 메커니즘을 제공한다고 결론지었습니다.