Stemma: Induced Decision Regions Reveal LLM Provenance

당신이 사랑하는 유명한 고전의 저자가 쓴 것인지 확인하기 위해 신비로운 새 책을 추적하고 있다고 상상해 보세요. 인공지능의 세계에서 이것은 거대한 문제입니다. 우리는 이야기를 쓰고, 수학 문제를 풀고, 우리와 대화하는 거대한 컴퓨터 뇌인 대규모 언어 모델(LLM)을 가지고 있습니다. 하지만 이러한 모델들은 종-종 수정되거나, 서로 섞이거나, 더 작은 기기에서 실행되도록 축소됩니다. 때때로 사람들은 보호받는 모델을 가져와 약간 변형한 뒤, 허가 없이 자신의 것처럼 판매하기도 합니다. 이를 잡아내기 위해 우리는 모델의 '가계도', 즉 그 출처(provenance)를 증명해야 합니다.

까다로운 점은 이 AI 모델들이 카멜레온 같다는 것입니다. 만약 당신이 질문을 약간 다른 방식으로 던지거나, 모델이 더 빠르게 작동하도록 수정되었다면, 밑바탕에 깔린 똑같은 '뇌'를 가지고 있더라도 완전히 다른 답변을 내놓을 수 있습니다. 이전의 방법들은 모델이 선택한 정확한 단어들을 살펴보려 노력했는데, 이는 마치 사람을 오직 옷차으로만 식별하려는 것과 같습니다. 옷을 갈아입으면 당신은 그를 알아보지 못할 수도 있기 때문입니다. 과학자들은 표면적인 모습 너머를 보고, 모델이 생각하는 방식의 깊고 변하지 않는 구조를 보는 방법을 찾아야 했습니다.

여기서 옥스퍼드 대학교의 한 팀이 Stemma라고 불리는 영리한 새로운 아이디어로 등장합니다. 이것은 마치 탐정이 "오늘 무엇을 입었나요?"라고 묻는 대신, "만약 제가 네 가지 옵션이 있는 메뉴를 보여준다면, 당신은 무엇을 고르겠습니까?"라고 묻는 것과 같습니다. 연구진은 AI가 말투나 표현을 바꾸더라도, 특정한 선택 상황에 직면했을 때 여전히 동일한 범주의 답변을 선택하는 경els이 있다는 것을 깨달았습니다. 그들은 이러한 숨겨진 선호도를 "유도된 결정 영역(induced decision regions)"이라고 부릅니다.

연구팀은 AI가 사용하는 화려한 단어에는 신경 쓰지 않고, 오히려 그 모델이 내리는 '선택'에 집중하는 지문 생성 시스템을 만들어 이를 테스트했습니다. 그들은 두 모델이 연관되어 있다면(예: 부모와 자식 관계), 목록의 순서가 바뀌거나 배치 환경이 완전히 달라지더라도 거의 항상 동일한 옵션을 선택한다는 것을 발견했습니다. 반면, 관련 없는 모델들은 서로 다른 옵션을 선택합니다. 이 "선택 일관성(choice consistency)"을 수백 개의 서로 다른 모델과 수천 개의 질문을 통해 테스트함으로써, Stemma는 가계도를 찾아내는 데 놀라운 능력을 입증했습니다. 테스트 결과, Stemma는 관련 모델을 96.7%의 확률로 정확히 식별해 냈으며, 오탐률(false alarm)이 단 1%인 상황에서도 관련 모델을 잡아낼 수 있었습니다. 이는 모델의 비밀 코드를 보지 않고도 "네, 이 의심스러운 새 모델은 확실히 그 원래 모델과 관련이 있습니다"라고 말할 수 있는 강력한 방법입니다.

탐정의 새로운 돋보기

그렇다면 이것은 실제로 어떻게 작동할까요? 이 논문은 **유도된 결정 영역(Induced Decision Regions)**이라는 개념을 소개합니다. 무한한 가능성이 가득 찬 거대하고 무질서한 방을 상상해 보세요(AI가 보통 작동하는 방식입니다). 사람들이 그저 돌아다니고 있다면, 두 사람이 같은 방에 있는지 알기 어렵습니다. 하지만, 만약 방 한가운데에 울타리를 치고 모두에게 어느 쪽을 선택할지 묻는다면 어떨까요? 갑자기 명확한 "결정 영역"이 생겨납니다.

연구진은 AI 모델이 개방형 질문에는 예측 불가능할 수 있지만, 여러 옵션 사이에서 선택을 강요받는 객관식 테스트에서는 놀라울 정도로 일관적이라는 사실을 깨달았습니다. 모델이 특정 답변을 일관되게 선택하는 영역을 "유도된 결정 영역"이라고 부릅니다.

논문은 이전의 방법들이 AI가 내뱉는 정확한 단어, 즉 "표면 형태(surface form)"에 너무 집중했다고 주장합니다. 만약 당신이 AI에게 "고양이에 대한 시를 써줘"라고 했다가, 그다음에는 "고양잇과 동물에 대한 구절을 구성해줘"라고 요청한다면, 연관된 모델이라 할지라도 매우 다른 시를 써낼 수 있어 서로 관련이 없어 보일 수 있습니다. 하지만 두 모델에게 "답변이 A, B, C, D 중 무엇입니까?"라고 묻는다면, 설명 방식이 다르더라도 그들은 아마도 같은 글자를 가리킬 것입니다. Stemma는 시적인 표현을 무시하고 오직 글자만을 봅니다.

게임의 세 가지 규칙

지문을 만들기 위해, 팀은 단순히 무작위 질문을 고른 것이 아닙니다. 그들은 영리하게 움직여야 했습니다. 그들은 안정성(Stability), 강건성(Robustness), 그리고 **특이성(Specificity)**이라는 세 가지 엄격한 규칙에 따라 질문을 선택하는 시스템을 만들었습니다.

1. 안정성(Stability): 네 가지 답변(A, B, C, D)이 있는 질문이 있다고 가정해 봅시다. 만약 순서를 D, C, B, A로 섞더라도, 안정적인 모델은 글자가 바뀌더라도 여전히 동일한 개념을 선택해야 합니다. Stemma는 당신이 어떻게 덱을 섞더라도 모델이 일관성을 유지하는 질문만을 사용합니다.
2. 강건성(Robustness): 이것은 당신의 선택에 대한 확신에 관한 것입니다. 만약 모델이 두 답변 사이에서 아슬아슬하게 걸쳐 있다면, 시스템의 아주 작은 변화만으로도 선택이 뒤집힐 수 있습니다. Stemma는 모델이 결정 영역의 벽에서 멀리 떨어져, 한쪽 구석에 확신을 가지고 위치하는 질문을 찾습니다.
3. 특이성(Specificity): 이것이 가장 중요한 부분입니다. 모든 모델이 똑같은 답변을 하는 질문(예: "하늘은 파란색인가요?")을 원하지는 않습니다. 그것은 지문이 아니라 일반적인 상식일 뿐입니다. Stema는 원래 모델이 특정 답변을 선택하지만, 다른 관련 없는 모델들은 보통 틀리는 질문을 찾습니다. 만약 용의자 모델이 또한 그 희귀하고 특이한 답변을 선택한다면, 이는 그들이 연관되어 있다는 강력한 징후입니다.

대규모 테스트

연구진은 대규모 실험을 통해 Stemma를 시험대에 올렸습니다. 그들은 56개의 서로 다른 공개 AI 모델(소스)을 모았고, 770개의 용의자 쌍을 만들었습니다. 어떤 용의자는 직접적인 복사본이었고, 어떤 것은 미세 조정된 버전이었으며, 어떤 것은 다른 모델과 병합되었고, 어떤 것은 완전히 다른 모델이었습니다. 또한 온도 설정(temperature settings)을 변경하거나 역할극(role-play) 지침을 추가하는 등 다양한 방식으로 배포된 1,260개의 쌍에 대해서도 테스트했습니다.

결과는 놀라웠습니다. Stemma는 0.967의 AUC(1.0이 완벽한 점수)를 달성했으며, 오탐률을 단 **1%**로 유지하면서 관련 모델을 **87.8%**의 확률로 식별해 냈습니다. 모델이 다양한 실제 환경(예: "안전" 프롬프트를 추가하거나 사고 방식(step-by-step)을 변경하는 등)에서 배포되었을 때 테스트했을 때, 점수는 0.995 AUC로 더욱 높아졌습니다.

이것을 다른 방법들(LLMmap, LLMPrint 등)과 비교해 보십시오. 기존 방법들은 모델이 수정되거나 다르게 배포될 경우, 종종 무작위 추측보다 나을 것이 없는 성능을 보이며 고전했습니다. 논문은 이러한 기존 방식들이 AI가 생성하는 특정 단어에 너무 의존하며, 그 단어들은 쉽게 변한다는 점을 지적합니다. 결정 영역의 근간에 집중하는 Stemma는 흔들림 없이 유지됩니다.

이것이 의미하는 바 (그리고 그렇지 않은 바)

논문은 Stema가 무엇이고 무엇이 아닌지를 매우 명확히 밝히고 있습니다. Stemma는 블랙박스(black-box) 방식입니다. 즉, 모델의 내부 코드나 가중치를 볼 필요 없이, 질문을 던지고 그것이 무엇을 선택하는지만 관찰하면 됩니다. 이는 실제 환경의 감사를 수행하는 데 매우 실용적입니다.

하지만 저자들은 이것을 마법의 탄환이라고 부르지 않도록 주의를 기울였습니다. 그들은 Stemma가 절대적인 증거가 아닌 통계적 증거를 제공한다고 언급합니다. 이는 "이 두 모델이 연관되어 있을 확률이 99%입니다"라고 말하는 DNA 검사와 같지만, 그 자체로 법정 판결이 될 수는 없습니다. 또한 공격자가 Stema가 사용하는 질문을 정확히 알고 있다면, 특정 질문들에 대해 속임수를 쓰도록 모델을 훈련할 수도 있다고 경고합니다. 하지만 Stema는 방대한 질문 풀을 보유하고 있으며 실시간으로 최적의 질문을 선택하기 때문에, 이를 수행하기는 어렵습니다.

또한 논문은 한계점도 강조합니다. 현재 Stemma는 객관식 질문에 의존하고 있습니다. 만약 모델이 객관식 형식을 이해할 만큼 충분히 강력하지 않다면, 이 방법은 작동하지 않을 수 있습니다. 그러나 현재 존재하는 대다수의 유능한 모델들에게 있어서, 개방형의 혼돈을 유한한 결정 공간으로 매핑하는 이 새로운 접근 방식은 AI 모델의 진정한 가계도를 여는 열쇠가 될 것으로 보입니다.

결국, Stemma는 AI 모델이 많은 가면을 쓰고 다양한 목소리로 말할 수 있지만, 그들의 핵심 로직은 지우기 매우 어려운 지문을 남긴다는 사실을 상기시켜 줍니다. 올바른 질문을 던지고 표면 너머를 봄으로써, 우리는 마침내 누가 정말로 코드를 작성했는지 알아내기 시작할 수 있습니다.