PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

=== 요약 ===
당신이 모든 것을 알고 있는 마법 같은 로봇 앞에 서 있다고 상상해 보세요. 이 로봇은 이야기를 들려주는 것을 아주 좋아합니다. 당신이 비밀스러운 시작 문장을 주면, 로봇은 즉시 길고 매혹적인 이야기를 쏟아냅니다. 이것이 현대의 "대규모 언어 모델(LLM)"이 작동하는 방식입니다. 이들은 마치 초스마트 자동 완성 엔진처럼, 문장에서 다음 단어가 무엇일지 하나씩 예측하여 응답을 만들어냅니다. 하지만 여기에 까다로운 점이 있습니다. 만약 당신이 이야기의 끝(응답)만을 보게 된다면, 과연 정확한 시작(프롬프트)이 무엇이었는지 알아낼 수 있을까요? 이것은 마치 체스 경기의 마지막 체크메이트 장면만 보고 첫 번째 수를 추측하려는 것과 같습니다. 보통은 여러 가지 다른 시작 문장이 동일한 결말을 이끌어낼 수 있기 때문에 이는 거의 불가능에 가깝습니다. 과학자들은 AI의 마음이 어떻게 작동하는지 이해하고, 비밀을 드러내는지 포착하거나, 혹은 그들을 속일 수 있는지 알아내기 위해 이 "역전(inversion)" 퍼즐을 풀기 위해 노력해 왔습니다. 이전의 대부분의 시도들은 로봇의 뇌 내부(내부 코드)를 들여다보거나, 시작 지점을 추측하기 위해 방대한 양의 외부 데이터를 필요로 했습니다.

이제, 다른 트릭을 시도하기로 한 연구자들을 만나보세요. 그들은 로봇의 마음을 읽으려 하거나 외부 지식에 기반해 추측하는 대신, "역방향 로봇"을 만들었습니다. 이 새로운 로봇은 거꾸로 생각하도록 학습되었습니다. 원래의 로봇이 "다음에 무엇이 올까?"라고 묻는 법을 배운다면, 새로운 로봇은 "그 이전에 무엇이 있었을까?"라고 묻는 법을 배웁니다. 그들은 원래 로봇의 비밀 코드를 볼 필요도, 거대한 외부 도서관을 사용할 필요도 없었습니다. 대신, 그들은 원래의 로봇과 게임을 했습니다. 무작위의 시작 단어들을 입력하고 로봇이 들려주는 이야기를 기록했습니다. 그런 다음, 그 이야기들을 역순으로 새로운 "역방형 로봇"에 입력하여, 이전에 어떤 단어들이 있었어야 하는지를 예측하도록 학습시켰습니다. 이것은 마치 영화를 거꾸로 재생하면서 방금 일어난 장면을 예측하는 법을 배우는 것과 같습니다. 결과는 어땠을까요? 이 새로운 방법인 '이전 토큰 예측(Previous-Token Prediction, PTP)'은 로봇이 "블랙박스"(내부를 볼 수 없는 상태)인 경우에도 원래의 시작 문장을 놀라운 정확도로 재구성할 수 있습니다. 이는 단순히 AI를 가르치는 방향을 뒤집는 것만으로도, 그들의 생각을 되감는 강력한 방법을 열 수 있음을 시사합니다.

시간을 되감는 마법

대규모 언어 모델(LLM)을 당신의 문장을 완성해 주는 데 아주 능숙한 수다쟁이 친구라고 생각해 보세요. 만약 당신이 "옛날 옛적에"라고 말하면, 그들은 "용이 살았습니다"라고 말할 것입니다. 만약 당신이 "하늘은"이라고 말하면, 그들은 "푸르다"라고 말할 것입니다. 이 친구는 당신이 방금 말한 것을 보고 다음 단어를 추측함으로써 작동합니다. 이것이 그들이 이야기를 쓰고, 질문에 답하며, 우리와 대화하는 방식인 "다음 토큰 예측(Next-Token Prediction)"입니다.

하지만 만약 당신이 친구의 답변만 가지고 있고, 그가 정확히 무엇을 물었는지 알고 싶다면 어떻게 해야 할까요? 아마도 멋진 이야기를 듣고 그 이야기를 시작하게 만든 정확한 질문이 무엇인지 알고 싶거나, 혹은 친구가 비밀스러운 지시를 숨기고 있는지 확인하고 싶을 수도 있습니다. 이것이 바로 "역전(inversion)" 문제입니다. 왜냐하면 많은 다양한 질문이 동일한 답변을 이끌어낼 수 있기 때문입니다. 만약 당신의 친구가 "나는 피자를 사랑해"라고 말한다면, 당신은 "네가 제일 좋아하는 음식이 뭐야?"라고 물었을 수도 있고, "금요일에 무엇을 먹는 걸 좋아해?"라고 물었을 수도 있으며, 심지어 "너의 식단에 대해 말해줘"라고 했을 수도 있습니다.

기존 방식 vs 새로운 트릭

이 논문이 나오기 전, 과학자들은 이 문제를 해결하기 위해 다음 두 가지 방법을 시도했습니다:

1. 뇌 내부를 훔쳐보기: 질문을 역설계하기 위해 로봇의 내부 수학적 구조(logits)를 들여다보는 것입니다. 이것은 X-레이 안경을 쓰고 퍼즐을 푸는 것과 같습니다.
2. 거대한 참조 가이드 사용하기: 인터넷의 수백만 개의 질문-답변 쌍을 별도의 AI에게 학습시켜 질문을 추측하게 하는 것입니다. 이것은 도서관의 모든 책을 읽은 탐정을 고용하는 것과 같습니다.

이러한 기존 방식들의 문제는 특수한 접근 권한(블랙박스 모델에서는 얻을 수 없는 것)이나 엄청난 양의 외부 데이터가 필요하다는 점입니다. 또한, 이들은 의미는 같지만 단어는 정확히 일치하지 않는 질문을 추측하는 경향이 있습니다.

"역방향 로봇" 솔루션

IIT 봄베이(IIT Bombay)와 어도비 리서치(Adobe Research) 소속 연구진인 이 논문의 저자들은 영리하고 자기 완결적인 해결책을 고안해 냈습니다. 그들은 X-레이 안경도, 도서관도 필요하지 않았습니다. 그저 로봇 자체만 있으면 되었습니다.

그들이 "역방향 로봇"을 만든 과정은 다음과 같습니다:

1. 설정: 그들은 대상 로봇(역전시키고자 하는 로봇)을 가져와 게임을 수행했습니다. 로봇의 어휘 사전(vocabulary)에 있는 모든 단어를 시작점으로 입력하여 짧은 이야기를 생성하게 했습니다.
2. 반전: 그들은 그 이야기들을 역순으로 만들었습니다. 만약 로봇이 "The cat sat"이라고 썼다면, 이를 "sat cat The"로 바꾼 것입니다.
3. 학습: 그들은 이 역순의 이야기들을 사용하여 완전히 새로운 작은 로봇(역 모델)을 처음부터 학습시켰습니다. 이 새로운 로봇은 새로운 기술인 **이전 토큰 예측(Previous-Token Prediction)**을 배웠습니다. 다음에 무엇이 올지 예측하는 대신, 이전에 무엇이 있었는지를 예측하는 법을 배웠습니다.
   • 비유: 자동차가 후진하는 영상만 보고 운전을 배우는 것을 상상해 보세요. 결국 당신은 후진에 너무 익게 되어, 차가 주차되어 있는 것을 보면 그것이 어떤 경로를 통해 그곳에 도착했는지 완벽하게 예측할 수 있게 됩니다.
4. 미세 조정(Fine-Tuning): 로봇이 인간처럼 말할 수 있도록, 그들은 실제 질문과 답변의 몇 가지 예시(ShareGPT라는 데이터셋에서 가져옴)를 제공하고 그것들 역시 역순으로 학습시켰습니다.

결과: 테이프를 되감다

그들이 이 새로운 방법을 테스트했을 때, 결과는 매우 인상적이었습니다. 그들은 Qwen3-0.6B 모델을 사용했으며, 그들의 "역방향 로봇"이 원래의 프롬프트(질문)를 높은 정확도로 재구성할 수 있다는 것을 발견했습니다.

• 정확한 일치(Exact Match): 재구성된 프롬프트가 원래와 정확히 일치하는 경우가 약 **64.77%**였습니다. 이는 기존 방식들이 주로 의미만 맞췄던 것에 비해 큰 성과입니다.
• 토큰 F1(Token F1): 개별 단어들이 얼마나 완벽하게 일치하는지를 측정하는 지표인 Token F1 점수는 63.64를 기록했습니다.
• 의미적 유사성(Semantic Similarity): 단어가 동일하지 않더라도 의미는 매우 근접했습니다 (코사인 유사도 86.13).

이 논문은 또한 이 "역방향 로봇"이 상당히 유연하다는 것을 보여주었습니다. 만약 그들이 한 종류의 로봇(Qwen)에서 학습시킨 후, 다른 종류의 로봇(LLaMA나 GPT-4o 등)의 프롬프트를 추측하도록 요청하더라도 여전히 합리적으로 잘 작동했습니다. 단어 자체는 완벽하지 않았지만(서로 다른 로봇은 서로 다른 어휘 사전을 사용하기 때문), 의미는 제대로 파악했습니다. 이는 로봇이 특정 모델에 대한 특정 기술이 아니라, 생각을 역설계하는 일반적인 "논리"를 배웠음을 시사합니다.

이것이 왜 중요한가

이 논문은 이 접근 방식이 기존 방식보다 더 나은 이유를 다음과 같이 주장합니다:

• "블랙박스" 솔루션: 로봇의 내부 코드나 가중치를 볼 필요가 없습니다. 그저 대화만 하면 됩니다.
• 자기 완결적(Self-Contained): 질문과 답변에 대한 거대한 외부 데이터베이스가 필요하지 않습니다. 대상 로봇과 상호작용하며 스스로 학습 데이터를 생성합니다.
• 충실함(Faithful): 순방향 과정의 정확한 역과정을 학습하기 때문에, 일반적인 아이디어뿐만 아니라 정확한 단어까지 재구성할 수 있습니다.

하지만 저자들은 이 방식이 모든 것을 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 만약 역전시키려는 로봇이 완전히 다른 기호 집합(어휘)을 사용하거나 매우 다른 뇌 구조를 가지고 있다면, 단어 하나하나를 똑같이 재구성하는 것은 더 어려워집니다. 또한, 학습 데이터를 생성하는 데 많은 질문을 던져야 하므로 시간이 오래 걸릴 수 있습니다.

큰 그림

간단히 말해, 이 논문은 로봇이 말하기 전에 무엇을 생각했는지 알고 싶다면, 로봇을 해체하거나 탐정을 고용할 필요가 없다는 것을 보여줍니다. 그저 새로운 로봇에게 거꾸로 생각하는 법을 가르치기만 하면 됩니다. 미래를 예측하는 대신 "무엇이 이전에 있었는가"를 예측하도록 스크립트를 뒤집음으로써, 저자들은 AI 대화의 테이프를 놀라운 정밀도로 되감을 수 있는 도구를 만들어냈습니다. 이는 때때로 미래를 이해하기 위해서, 과거를 거꾸로 바라봐야 한다는 사실을 일깨워주는 흥미로우면서도 강력한 사례입니다.