💬 NLP

Rep2Text: Decoding Full Text from a Single LLM Token Representation

이 논문은 LLM 의 마지막 토큰 표현에서 원본 텍스트를 복원하는 'Rep2Text' 프레임워크를 제안하며, 시퀀스 길이가 증가할수록 개별 토큰 복원률은 감소하지만 의미적 일관성은 유지된다는 사실을 규명했습니다.

원저자: Haiyan Zhao, Zirui He, Yiming Tang, Fan Yang, Ali Payani, Dianbo Liu, Mengnan Du

게시일 2026-03-23

📖 4 분 읽기☕ 가벼운 읽기

원저자: Haiyan Zhao, Zirui He, Yiming Tang, Fan Yang, Ali Payani, Dianbo Liu, Mengnan Du

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"거대 언어 모델 (LLM) 의 '마지막 숨'에서 원래 문장을 다시 찾아낼 수 있을까?"**라는 흥미로운 질문을 던집니다.

일반적으로 우리는 AI 가 문장을 생성할 때, 마지막 단어를 예측하는 데만 집중한다고 생각합니다. 하지만 이 연구는 **"AI 가 문장을 끝내며 남긴 마지막 '기억 조각' 하나만으로도, 원래 입력했던 문장의 절반 정도를 다시 복원해낼 수 있다"**는 놀라운 사실을 발견했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🕵️‍♂️ 1. 핵심 아이디어: "마지막 숨"에서 전체 이야기를 읽다

비유: "한 장의 사진으로 전체 영화를 상상하기"

상상해 보세요. 누군가가 긴 영화를 보고 나갔습니다. 그 사람이 영화관을 나올 때, 입구에서 **"이 영화의 마지막 장면 한 컷"**만 찍어서 당신에게 건네줍니다.
보통은 그 마지막 컷만 보고는 "아, 영화가 끝났구나"라고만 알지, 영화의 전체 줄거리나 대사를 기억해 내기는 불가능하다고 생각합니다.

하지만 이 연구팀 (Rep2Text) 은 **"그 마지막 컷 (마지막 토큰 표현) 을 분석하면, 영화의 대본을 절반 정도는 다시 써낼 수 있다"**고 주장합니다.

기존의 생각: AI 의 마지막 상태는 다음 단어를 예측하기 위해 압축된 '정보의 병목 (Information Bottleneck)'일 뿐, 원래 정보가 사라졌을 거라 생각했습니다.
이 연구의 발견: 아니요! 그 압축된 상태에도 원래 문장의 약 50%(16 단어 중 8 단어) 가 여전히 숨어 있었습니다. 그리고 그 의미 (주제) 는 거의 완벽하게 보존되어 있었습니다.

🛠️ 2. 어떻게 가능한가요? "Rep2Text"라는 번역기

연구팀은 이 작업을 위해 Rep2Text라는 새로운 도구를 만들었습니다.

비유: "다른 언어로 된 편지를 번역하는 전문 통역사"

원본 (Target Model): A 라는 AI 가 문장을 처리하고 마지막에 남긴 '기억 조각'을 줍니다. 이 조각은 A AI 만이 이해할 수 있는 암호 같은 언어입니다.
번역기 (Adapter): 연구팀이 만든 '적응기 (Adapter)'라는 작은 장치가 이 암호를 해독합니다. 이 장치는 A AI 의 암호를 B AI 가 이해할 수 있는 '단어 덩어리'로 바꿔줍니다.
재구성 (Decoding Model): B AI 는 이 해독된 단어들로 "아, 원래 이 사람이 이 말을 하려 했구나!"라고 추측하며 문장을 다시 만들어냅니다.

이 과정은 반복적인 검색 없이 한 번에 이루어집니다. 마치 자물쇠를 열 때 열쇠를 여러 번 돌려보지 않고, 한 번의 정확한 동작으로 열어젖히는 것과 같습니다.

📊 3. 실험 결과: 무엇을 발견했나요?

연구팀은 다양한 AI 모델 (Llama, Mistral, Gemma 등) 로 실험을 해보았습니다.

짧은 문장 (16 단어): 약 **50%**의 단어를 정확히 되찾았습니다. 문장의 뼈대 (문법) 와 핵심 주제 (의미) 는 매우 잘 유지되었습니다.
긴 문장 (64 단어): 문장이 길어질수록 정확한 단어 복원은 어려워졌지만, **"이 문장이 무슨 주제에 대한 이야기인지"**는 여전히 잘 알아맞혔습니다.
- 비유: 긴 소설의 마지막 페이지를 보고, 소설의 구체적인 대사는 잊어버렸지만 "이건 로맨스 소설이야"라는 주제는 확실히 알 수 있는 것과 같습니다.
모델의 깊이: 문장의 **구조 (문법)**는 AI 의 중간 층에서, **의미 (주제)**는 더 깊은 층에서 가장 잘 복원되었습니다.

🏥 4. 실전 적용: 의학적 기록에서도 통할까?

가장 놀라운 점은 이 기술이 의사들이 쓴 환자 기록 (임상 데이터) 같은 생소한 데이터에서도 잘 작동했다는 것입니다.

비유: "영어로 쓴 요리 레시피"를 배우고, 갑자기 "스페인어로 쓴 의학 보고서"를 번역해달라고 해도, 핵심 내용 (환자의 증상, 나이 등) 을 잘 추려냈습니다.
기존 방법들은 익숙한 데이터 (위키백과) 밖으로 나가면 망가졌지만, Rep2Text 는 새로운 상황에서도 일반화 능력이 뛰어났습니다.

⚠️ 5. 주의할 점: 보안의 위협?

이 연구는 AI 의 보안과 프라이버시에 대한 중요한 경고도 담고 있습니다.

경고: 만약 누군가 AI 가 처리한 마지막 데이터 조각만 탈취해도, 원래 입력된 민감한 정보 (개인 이름, 비밀 등) 의 절반 정도를 다시 알아낼 수 있다는 뜻입니다.
이는 AI 가 "완전히 블랙박스 (알 수 없는 상자)"가 아니라는 것을 의미하며, AI 내부의 정보가 얼마나 쉽게 유출될 수 있는지 보여줍니다.

💡 요약

이 논문은 **"AI 가 문장을 끝낼 때 남기는 마지막 흔적 하나만으로도, 원래 문장의 절반을 되살릴 수 있다"**는 사실을 증명했습니다.

무엇을 했나요? AI 의 마지막 기억 조각을 원래 문장으로 되돌리는 'Rep2Text'라는 도구를 만들었습니다.
어떻게 되나요? 16 단어 중 8 단어 정도를 정확히, 그리고 문장의 의미는 거의 완벽하게 복원합니다.
왜 중요한가요? AI 의 내부 작동 원리를 이해하는 데 도움이 되며, 동시에 AI 를 통한 개인정보 유출 위험이 생각보다 클 수 있음을 경고합니다.

결론적으로, AI 의 마지막 숨결 하나에도 원래의 이야기가 얼마나 많이 남아있는지, 그리고 우리가 그걸 어떻게 다시 읽어낼 수 있는지를 보여준 흥미로운 연구입니다.

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 다양한 작업에서 뛰어난 성능을 보이지만, 그 내부 작동 원리는 여전히 '블랙박스'로 간주됩니다. 기존 연구들은 주로 시퀀스 전체의 토큰 표현이나 임베딩을 사용하여 텍스트를 복원하거나 특정 특징을 해석하는 데 집중했습니다.

이 논문은 다음과 같은 근본적인 질문을 던집니다:

"LLM 의 입력 시퀀스 중 마지막 토큰 (last-token) 의 단일 표현 (representation) 만으로 원래 입력 텍스트를 얼마나 완벽하게 복원할 수 있는가?"

마지막 토큰 표현은 다음 토큰 예측을 위해 최적화되어 있어 정보의 병목 현상 (information bottleneck) 을 겪고 있을 가능성이 높습니다. 따라서 이 단일 벡터에서 원래의 전체 텍스트를 역추적 (inversion) 하는 것은 매우 도전적인 과제입니다.

2. 방법론 (Methodology: Rep2Text Framework)

저자들은 이 문제를 해결하기 위해 Rep2Text라는 새로운 프레임워크를 제안했습니다. 이는 비전 - 언어 모델 (예: LLaVA) 의 구조에서 영감을 받아 설계되었습니다.

핵심 구성 요소:
1. 타겟 모델 (Target Model): 입력 텍스트를 처리하고 마지막 토큰의 숨겨진 상태 (hidden state, $h_\ell$ ) 를 생성하는 모델.
2. 디코딩 모델 (Decoding Model): 복원된 텍스트를 생성하는 생성형 LLM.
3. 어댑터 (Trainable Adapter): 타겟 모델의 표현 공간과 디코딩 모델의 토큰 임베딩 공간 사이의 간극을 메우는 학습 가능한 변환기.
작동 원리:
1. 타겟 모델의 특정 레이어 (예: 10 번째 레이어) 에서 마지막 토큰의 표현 $h_\ell$ 을 추출합니다.
2. 어댑터는 이 표현을 디코딩 모델의 토큰 임베딩 공간으로 매핑합니다. 어댑터는 2 층 MLP(Multi-Layer Perceptron) 와 게이트드 스킵 연결 (gated skip connection) 을 사용하여 정보를 최대한 보존하면서 차원을 변환합니다.
3. 변환된 임베딩은 시스템 프롬프트 및 사용자 프롬프트 임베딩과 결합되어 디코딩 모델의 입력으로 주어집니다.
4. 디코딩 모델은 이 입력을 바탕으로 **자기회귀적 (autoregressive)**으로 원래 입력 텍스트와 동일한 시퀀스를 복원합니다.
학습 전략:
- 어댑터만 파인튜닝: 디코딩 모델은 고정하고 어댑터 파라미터만 최적화.
- 공동 파인튜닝 (Joint Fine-tuning): 어댑터와 디코딩 모델 (LoRA 를 통해) 을 함께 업데이트.
- 학습 목표는 정답 (Ground Truth) 토큰의 로그 가능도를 최대화하는 것이며, 과적합을 방지하기 위해 라벨 스무딩 (Label Smoothing) 을 적용합니다.

3. 주요 기여 및 실험 결과 (Key Contributions & Results)

A. 단일 토큰 표현에서의 텍스트 복원 가능성 입증

복원률: 16 토큰 시퀀스의 경우, 마지막 토큰 표현만으로 약 50% 의 토큰을 ROUGE-1 점수로 복원할 수 있음을 발견했습니다.
의미적 일관성: 토큰 단위의 정밀도는 낮을지라도, **의미적 일관성 (Semantic Coherence)**과 문장 구조는 매우 강력하게 유지되었습니다. 즉, 구체적인 단어는 틀릴 수 있지만 전체적인 주제와 문법적 구조는 올바르게 복원됩니다.

B. 정보 병목 현상 및 시퀀스 길이 분석

길이 의존성: 시퀀스 길이가 증가할수록 복원 성능은 급격히 저하됩니다.
- 8 토큰: 높은 복원률.
- 16 토큰: 약 50% 복원.
- 64 토큰: ROUGE-1 점수가 0.3 수준으로 하락하며, 세부 내용 복원은 어렵지만 주제 (Topic) 는 여전히 유지됨.
계층별 분석:
- 초기~~중간 레이어 (약 10~~15 레이어): 구문 (Structure) 과 어휘 (Lexical) 정보가 가장 잘 인코딩되어 있어 복원 성능이 가장 높음.
- 후기 레이어: 고수준의 의미 (Semantic) 정보는 잘 보존되지만, 구체적인 문법 구조나 단어 정보는 추상화되어 복원이 어려움.

C. 모델 스케일링 및 일반화 성능

크로스-모델 역전 (Cross-model Inversion): 타겟 모델과 디코딩 모델이 서로 다른 경우 (예: Mistral -> Llama) 도 성능이 잘 유지됨. 이는 서로 다른 모델들이 내부 표현 공간에서 일정한 구조를 공유한다는 '플라토닉 표현 가설 (Platonic Representation Hypothesis)'을 지지함.
스케일링 효과: 디코딩 모델의 크기를 늘리는 것 (예: 14B -> 32B) 이 복원 성능에 큰 향상을 주지 않음. 모델 크기보다는 모델 패밀리 (Family) 가 더 중요한 요소로 작용.
OOD (Out-of-Distribution) 일반화:
- 위키피디아 데이터 (In-distribution) 와 임상 노트 (OOD) 모두에서 실험.
- 기존 베이스라인인 Vec2Text는 OOD 데이터에서 성능이 극도로 떨어졌으나, Rep2Text 는 임상 데이터에서도 의미 있는 정보를 복원하며 뛰어난 일반화 성능을 보임.

4. 의의 및 결론 (Significance & Conclusion)

보안 및 프라이버시 리스크: LLM 의 마지막 토큰 표현만으로도 입력 텍스트의 상당 부분 (약 50%) 과 전체적인 의미를 복원할 수 있다는 사실은, 모델의 내부 상태를 통해 민감한 입력 데이터가 유출될 수 있음을 시사합니다. 이는 LLM 의 프라이버시 보호 메커니즘에 대한 새로운 우려를 제기합니다.
모델 해석 가능성 (Interpretability): 단일 토큰 표현이 얼마나 많은 정보를 포함하고 있는지 정량화함으로써, LLM 의 내부 표현 공간이 어떻게 정보를 압축하고 인코딩하는지에 대한 깊은 통찰을 제공합니다.
기술적 혁신: 반복적인 검색 (iterative search) 없이 단일 표현에서 텍스트를 복원하는 효율적인 프레임워크를 제시하여, 모델의 내부 상태를 직접적으로 디코딩하는 새로운 패러다임을 제시했습니다.

요약하자면, Rep2Text 는 LLM 의 마지막 토큰 표현이 단순한 정보의 병목이 아니라, 상당량의 구조적 및 의미적 정보를 포함하고 있음을 증명했습니다. 이는 모델의 투명성을 높이는 동시에, 잠재적인 정보 유출 위험에 대한 경각심을 불러일으키는 중요한 연구 결과입니다.