🤖 machine learning

Borrowed Geometry: Computational Reuse of Frozen Text-Pretrained Transformer Weights Across Modalities

본 논문은 동결된 텍스트 전용 사전 학습 Gemma 4 31B 가중치가 얇은 학습 가능한 인터페이스만을 사용하여 로봇 조작, 의사 결정 및 연관 회상 작업에서 최첨단 성능을 달성하기 위해 다양한 모달리티 간에 효과적으로 전이될 수 있음을 보여주며, 이는 모델의 사전 학습 부하 수용 능력이 특정 모달리티나 학습 데이터가 아닌 가중치 자체에 내재되어 있음을 입증합니다.

원저자: Abay Bektursun

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abay Bektursun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마스터 셰프가 평생 텍스트 요리의 예술을 완벽하게 다듬어 왔다고 상상해 보세요. 이 셰프는 누구보다 단어를 잘 다듬고, 문장을 섞으며, 단락을 구울 수 있습니다. 이 셰프는 로봇이나 비디오 게임, 물리적 객체를 본 적이 없는 거대한 얼어붙은 컴퓨터 두뇌 (Gemma 4 라는 "얼어붙은" AI 모델) 일 뿐입니다. 이 두뇌는 오직 언어만 처리해 왔습니다.

이제 로봇이 걷도록 하거나 컴퓨터가 게임을 하도록 가르치고 싶지만, 처음부터 새로운 셰프를 훈련시키고 싶지 않다고 가정해 봅시다. 대신 이렇게 물어봅니다: "이 텍스트 셰프의 두뇌를 빌려서 비텍스트 문제를 해결할 수 있을까요?"

이 논문은 그렇다고 말하지만, 매우 특정한 뉘앙스를 덧붙입니다.

핵심 아이디어: 기하학 빌리기

저자들은 얼어붙은 텍스트 셰프의 두뇌를 글쓰기 도구가 아니라 미리 구축된 첨단 주방으로 취급합니다. 그들은 셰프의 두뇌 (가중치) 를 변경하지 않습니다. 대신 로봇의 움직임이나 게임 상태를 셰프가 이해하는 언어로 번역하고, 셰프의 출력을 다시 행동으로 번역하는 작고 저렴한 "어댑터" (간단한 인터페이스) 를 구축합니다.

이렇게 생각해 보세요: 셰프는 재료를 완벽하게 정리하는 법을 알고 있습니다. 자동차를 만드는 법을 가르칠 필요는 없습니다. 셰프가 인식할 수 있는 형식으로 자동차 부품을 건네주기만 하면, 그들의 두뇌가 이미 복잡한 정리에 맞춰져 있기 때문에 본능적으로 조립하는 법을 알 것입니다.

큰 승리 (실제로 무엇을 했는지)

1. 춤을 추는 로봇 (OGBench)

테스트: 시뮬레이션된 로봇 팔이 본 적이 없는 작업을 수행하도록 했습니다. 즉, 물건을 집어 들고 이동시키는 작업이었습니다.
결과: 얼어붙은 텍스트 두뇌를 사용한 로봇은 현재 최고의 전문 로봇 소프트웨어보다 더 잘 수행했습니다.
주의점: 모든 작업에서 완벽했던 것은 아닙니다. 특정한 "큐브" 적재 작업에서는 텍스트 두뇌 로봇이 전문 소프트웨어보다 실제로 더 나빴습니다. 하지만, 텍스트 두뇌 로봇을 무작위 초기화된 두뇌 (동일한 구조이지만 훈련되지 않은 두뇌) 와 비교했을 때, 텍스트 두뇌는 59 점 더 높았습니다.
교훈: "얼어붙은" 텍스트 훈련은 막대한 출발점을 제공했습니다. 이 두뇌는 단순히 무작위 형태가 아니었습니다. 책 읽기에서만 배웠음에도 불구하고 시퀀스를 정리하는 데 유용한 "근육 기억"을 학습했습니다.

2. 걷는 로봇 (D4RL Walker2d)

테스트: 텍스트 두뇌가 로봇이 걷는 법을 배우는 데 도움을 줄 수 있을까요?
결과: 그렇습니다. 텍스트 두뇌 로봇은 걷기 전용으로 제작된 모델인 최신 "디시전 트랜스포머"와 똑같이 잘 걸었습니다.
보너스: 텍스트 두뇌 솔루션은 전문 보행자 모델의 학습 가능한 매개변수의 절반 미만을 사용했습니다. 동일한 결과를 얻는 더 효율적인 방법이었습니다.

3. "마법" 기억 테스트 (연상 회상)

테스트: 컴퓨터가 패턴을 기억했다가 나중에 반복해야 하는 간단한 기억 게임입니다.
결과: 작은 어댑터가 달린 얼어붙은 텍스트 두뇌가 이를 완벽하게 해결했습니다. 정확히 같은 크기의 완전히 새로운 모델이 이 특정 게임에 대해 처음부터 훈련되었음에도 불구하고 완전히 실패했습니다.
교훈: 텍스트 두뇌는 단순히 "단어"를 배운 것이 아닙니다. 언어가 아닌 작업에도 적용되는 패턴과 기억을 처리하는 근본적인 방식을 배웠습니다.

"왜": 사고의 특정 "원자" 찾기

이 논문의 가장 매혹적인 부분은 두뇌 내부가 어떻게 작동하는지 살펴본 방법입니다. 그들은 단순히 "작동한다"고 말하지 않고, 돌아가는 특정 기어를 찾아냈습니다.

실험: 그들은 192 개의 작은 "어텐션 헤드" (두뇌 내부의 개별 뉴런이나 전문화된 작업자로 생각하세요) 를 살펴보았습니다.
발견: 그들은 이중 임무를 수행하는 네 가지 특정 작업자 (헤드) 를 발견했습니다.
- 텍스트 세계에서 이 작업자들은 단어를 복사하거나 패턴을 매칭하는 데 능숙했습니다 (예: 문장에서 "고양이"가 두 번 나타나는 것을 noticing).
- 비텍스트 세계 (로봇 작업이나 기억 게임과 같은) 에서, 정확히 같은 네 가지 작업자가 문제를 해결하는 데 가장 중요했습니다.
비유: 빨간색과 파란색 구슬을 분류하도록 고용된 작업자가 있다고 상상해 보세요. 그런 다음 그들에게 빨간색과 파란색 자동차를 분류해 달라고 요청합니다. 그들은 자동차 분류에는 실패하지만, 구슬 분류에 가장 능숙했던 특정 작업자가 자동차를 분류하는 법도 본능적으로 알고 있다는 사실을 발견합니다. 두뇌를 다시 훈련시킬 필요가 없었습니다. 단지 자동차를 보여줄 적절한 "번역기"만 필요했습니다.

한계 (어디서 무너지는가)

이 논문은 이 "빌리기"가 실패하는 지점에 대해 매우 솔직합니다. 텍스트 두뇌는 시퀀스(A 가 B 로 이어지고 B 가 C 로 이어짐) 와 패턴 매칭에는 뛰어나지만, 다음을 요구하는 것들은 어려워합니다:

2 차원 공간적 사고: "게임 오브 라이프"(격자 기반 시뮬레이션) 를 하거나 미로를 탐색하는 것. 이 두뇌는 2 차원 지도가 아닌 텍스트 줄에 맞춰져 있습니다.
연속적인 정밀도: 로봇 팔을 극도로 부드럽게 제어하거나 소수가 포함된 복잡한 수학 문제를 푸는 것. 이는 유동적인 운동이 아닌 이산적인 단계에 적합합니다.
중첩 논리: 복잡한 코드 구조에서 괄호를 균형 있게 맞추는 것 (Dyck-2). 텍스트 두뇌는 실제로 이 부분에서 훈련되지 않은 간단한 모델보다 더 나빠졌습니다. 이는 영어를 읽는 법을 배우는 것이 우연히 이 특정 유형의 논리를 학습하는 것을 두뇌가 "막았을" 가능성을 시사합니다.

요약

이 논문은 오직 텍스트로 훈련된 두뇌가 정보를 조직하는 숨겨진 재사용 가능한 "운영 체제"를 포함하고 있음을 증명합니다. 이 얼어붙은 두뇌를 가져와 로봇이나 게임에 연결하면, 처음부터 구축된 모델보다 종종 더 나은 성능을 발휘합니다. 단순히 이미 사물이 어떻게 서로 맞물리는지에 대한 깊은 구조적 규칙을 이미 학습했기 때문입니다.

이는 마법이 아닙니다. 이는 **계산적 적응 (computational exaptation)**입니다. 깃털이 따뜻함을 위해 진화했지만 나중에 비행을 위해 "빌려"진 것처럼, 두뇌의 텍스트 패턴을 복사하고 매칭하는 능력은 로봇과 기억 문제를 해결하기 위해 "빌려"졌습니다. 비록 그 두뇌가 본 적도, 설계된 적도 없는 문제들이었지만요.

아바트 베크투르순의 논문 "Borrowed Geometry: Computational Reuse of Frozen Text-Pretrained Transformer Weights Across Modalities"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 딥러닝의 근본적인 질문을 다룹니다: 최첨단 규모의 텍스트 사전 학습된 트랜스포머의 가중치는 본인이 본 적 없는 모달리티의 작업에도 "빌려" 사용할 수 있는 일반적인 계산 기질인가?

현재 산업계 관행은 사전 학습된 대규모 언어 모델 (LLM) 을 텍스트 생성용 정적 산물이거나 텍스트 관련 작업의 미세 조정용으로 취급합니다. 본 연구는 사전 학습 동안 학습된 "기하학"(가중치 행렬 및 어텐션 패턴) 이 토큰 복사, 유도 (induction) 와 같은 자연 세계 함수에 보편적인 저차원, 대칭적, 계층적 계산 원시들을 인코딩한다는 가설을 세웁니다. 목표는 이러한 동결된 가중치가 최소한의 학습 가능한 인터페이스와 결합될 때, 핵심 가중치를 수정하지 않고도 로봇공학, 연속 제어, 알고리즘적 추론과 같은 비텍스트 작업을 해결할 수 있는지 검증하는 것입니다.

2. 방법론

핵심 설정

기질 (Substrate): 연구는 Gemma 4 31B(가상의 2026 년 출시 모델) 를 사용하며, 구체적으로 L24–L29레이어 (약 29 억 3 천만 개 파라미터를 포함하는 6 레이어 슬라이스) 를 동결합니다. 이 슬라이스는 웹, 코드, 수학 텍스트 토큰만을 대상으로 사전 학습되었습니다.
인터페이스: 비텍스트 입력 (상태 - 행동 벡터, 비트 그리드, 운동학 등) 을 동결된 모델의 5376 차원 은닉 공간으로 매핑하는 "얇은" 학습 가능한 인터페이스가 사용됩니다. 이 인터페이스에는 선형 인코더, 입력 통계 매처, 디코더가 포함됩니다.
동결: Gemma 의 가중치는 완전히 동결됩니다 (기울기 제로); 오직 인터페이스 파라미터만 학습됩니다.

실험 프로토콜

논문은 사전 학습의 기여도를 아키텍처와 용량으로부터 분리하기 위해 엄격한 일련의 통제를 적용합니다:

교차 모달리티 전이: OGBench(로봇 조작), D4RL(오프라인 RL), 그리고 지도 학습 알고리즘 작업 (복사, 연관 회상, 세포 자동자) 에 대한 테스트.
아키텍처 전용 통제:
- FrozenRandom-GPT2: 올바른 $1/\sqrt{d_k}$ 스케일링을 갖지만 무작위 초기화된 동결된 6 레이어 트랜스포머.
- Random Gemma Slice: 무작위 가중치를 가진 동일한 Gemma 아키텍처.
- Matched-Capacity Trained Transformer: 동결된 슬라이스와 동일한 파라미터 수로 처음부터 학습된 트랜스포머.
이중 측정 메커니즘: 특정 어텐션 헤드를 식별하기 위한 프로토콜로 다음을 상관관계 분석합니다:
- 텍스트 활성화 프로빙: 영어 문장에서 토큰 복사/유도에 대한 어텐션 측정.
- 작업 제거 (Ablation): 특정 헤드를 0 으로 설정하고 비언어 작업에서의 성능 저하 측정.

3. 주요 기여

"빌려온 기하학"의 경험적 검증: 동일한 크기의 무작위 초기화 아키텍처가 완전히 실패하는 복잡한 비텍스트 작업 (로봇공학, RL) 에서 동결된 텍스트 가중치가 해결할 수 있음을 입증합니다.
재사용된 헤드의 기계적 식별: 텍스트 토큰 복사와 비언어 알고리즘 작업 (이진 복사, 연관 회상) 모두에 결정적인 특정 어텐션 헤드 (예: L26.28, L27.28) 를 식별하여 "계산적 재사용 (computational exaptation)"의 증거를 제공합니다.
기질 분리: 동일한 아키텍처의 무작위 초기화 버전이 이러한 작업을 학습하지 못함을 보여줌으로써, 성능 향상이 아키텍처나 학습 가능한 인터페이스가 아닌 사전 학습된 가중치에서 비롯됨을 증명합니다.
압축 및 효율성: 동결된 기질을 (예: 5 레이어 슬라이스로) 압축하더라도 더 큰 베이스라인에 비해 성능을 유지하거나 향상시킬 수 있음을 보여주며, 훨씬 적은 학습 가능한 파라미터로 Decision Transformer 와 동등한 성능을 달성합니다.

4. 주요 결과

A. 교차 모달리티 전이 성공

OGBench (로봇 조작):
- Scene-Play-Task1: 동결된 Gemma + IQL 헤드가 **97.33%**의 성공률을 기록하여 출판된 SOTA(GCIQL) 를 +4.33 점 앞섰습니다.
- Cube-Double-Play-Task1: 동결된 모델은 **60.22%**의 성공률을 달성한 반면, 무작위 초기화된 Gemma 슬라이스는 완전히 실패했습니다 (0.89%). 이는 사전 학습이 하중을 지탱한다는 것을 입증하는 +59 점의 분리 이득입니다.
D4RL (오프라인 RL - Walker2d):
- 동결된 Gemma 슬라이스 (L24–L29) 는 76.2 ± 0.8의 정규화된 점수를 달성하여 Decision Transformer(DT) 베이스라인 (74.0) 과 맞먹는 성능을 보였으며, 학습 가능한 파라미터는 **0.43×**만 사용했습니다.
- 압축: 레이어 L24 를 제거하고 (L25–L29 만 사용) 성능을 77.84로 향상시켰는데, 이는 이 작업에 대해 슬라이스의 "가장자리"가 반드시 필요하지 않음을 보여줍니다.

B. 지도 학습 알고리즘 작업

연관 회상 (AR): 113K 파라미터의 선형 인터페이스를 갖춘 동결된 슬라이스는 비트당 오류율 0.0505를 달성했습니다. 동일한 용량 (6.36M) 의 처음부터 학습된 트랜스포머는 완전히 실패하여 오류율 0.4395를 기록했으며, 이는 동결된 모델이 8.7 배의 우위를 보인 것입니다.
세포 자동자 (Rule 90): 동결된 모델은 작업을 학습한 반면, 올바른 스케일링을 가진 동결된 무작위 트랜스포머는 5 만 스텝 동안 무작위 확률 손실에 머무르며 학습하지 못했습니다.

C. 기계적 발견 ("명명된 헤드")

이중 측정 프로토콜을 사용하여 텍스트와 비텍스트 도메인에서 동일한 계산을 수행하는 특정 헤드를 식별했습니다:

헤드 L26.28: 영어 토큰 복사에 대해 슬라이스 평균의 3.7 배 점수를 기록하며, 이진 복사 제거 실험에서 2 위로 가장 중요한 헤드입니다 ( $\Delta = +0.221$ ).
헤드 L27.28: 텍스트 복사에 대해 2.6 배 점수를 기록하며, 이진 복사와 이진 덧셈 모두에서 1 위로 가장 중요한 헤드입니다.
헤드 L27.2 및 L27.3: 각각 연관 회상과 세포 자동자에 중요하며, 높은 텍스트 매칭 점수도 보입니다.
결론: 이러한 헤드들은 "재사용된 (exapted)" 것으로, 텍스트 사전 학습에 의해 형성되었지만 유사한 비언어 계산을 위해 동원되었습니다.

D. 한계와 경계

빌려온 기하학은 보편적이지 않습니다. 다음 작업에서는 실패합니다:

Dyck-2 (균형 괄호): 동결된 모델은 높은 오류율 (~0.03) 에서 정체되지만, 처음부터 학습된 트랜스포머는 이를 쉽게 해결합니다. 이는 사전 학습이 명시적인 스택 구조에 대한 "반-우선 (anti-prior)"을 생성함을 시사합니다.
2D 공간 작업 (라이프 게임): 1D 순차적 원시들은 2D 공간 이웃 계산으로 구성되지 않습니다.
연속 제어 정밀도: HalfCheetah 와 Hopper(세밀한 연속 제어 필요) 및 부드러운 회귀 작업 (NARMA) 에서 실패합니다.

5. 의의

사전 학습 가치의 재정의: 이 논문은 막대한 사전 학습의 가치가 단순히 "지식"이 아니라, 모달리티 간에 재사용 가능한 보편적 계산 원시(토큰 복사 등) 의 발견에 있다고 주장합니다.
효율성: 특정 작업의 경우 처음부터 거대한 모델을 학습할 필요가 없으며, 텍스트 모델의 동결되고 압축된 슬라이스가 강력하고 범용적인 계산 엔진으로 기능할 수 있음을 시사합니다.
기계적 해석 가능성: 기계적 해석 가능성 (모델이 어떻게 작동하는지 이해) 과 전이 학습 간의 간극을 해소합니다. 전이되는 특정 헤드를 명명함으로써, 집계된 "동결된 모델이 도움이 된다"는 주장을 넘어 구체적이고 검증 가능한 회로 재사용으로 나아갑니다.
진화적 비유: 재사용 (Exaptation) 개념 (온기를 위해 진화한 깃털이 이후 비행에 사용됨) 이 신경망에 적용되어, 한 도메인 (언어) 을 위해 선택된 특징이 재설계 없이 다른 도메인 (로봇공학) 을 위해 재사용될 수 있음을 시사합니다.

6. 결론

이 논문은 동결된 텍스트 사전 학습 가중치가 일반적인 계산 기질로 작용한다는 강력한 경험적 증거를 제시합니다. 명시적인 스택 또는 2D 공간 추론과 같은 모든 작업에 만병통치약은 아니지만, "빌려온 기하학"은 토큰 매칭 및 패턴 완성 원시들을 로봇공학과 알고리즘 작업으로 성공적으로 전이시켜, 무작위 아키텍처와 용량이 일치하는 처음부터 학습된 모델 모두를 능가합니다. 교차 모달리티 어텐션 헤드를 특정하여 식별한 것은 딥러닝 표현의 보편성을 이해하는 새로운 렌즈를 제공합니다.