Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms
이 논문은 위키페디아 리디렉트 정보를 활용한 새로운 QA 데이터셋 'RedirectQA'를 통해 대규모 언어 모델의 사실적 암기가 엔티티 표면 형태 (이칭, 약어, 오타 등) 에 따라 민감하게 달라지며, 단순한 표면 불변성이나 표면 특이성 중 하나로만 설명할 수 없음을 규명했습니다.
우리가 AI 에게 "펠레 (Pelé) 의 직업은 뭐야?"라고 물으면, AI 는 "축구선수"라고 바로 답합니다. 하지만 만약 "에드손 아란테스 두 나시멘토 (Edson Arantes do Nascimento, 펠레의 본명) 의 직업은 뭐야?"라고 물으면 어떨까요?
기존 연구들은 AI 가 이 두 질문을 모두 똑같이 잘 답한다고 믿었습니다. 마치 도서관에서 책 제목만 보고 책을 찾아내는 것처럼 말이죠. 하지만 연구자들은 "아니, AI 는 책 제목 (표면적 이름) 에 따라 기억하는 게 다를 수도 있지 않을까?"라고 의문을 품었습니다.
2. 새로운 도구: '리디렉트 QA (RedirectQA)'라는 지도
연구자들은 위키백과의 '리디렉트 (Redirect, 다른 이름에서 본래 이름으로 연결해주는 기능)' 데이터를 이용해 새로운 실험 도구인 RedirectQA를 만들었습니다.
비유: 이 도구는 한 명의 유명인을 다양한 이름으로 부르는 명함을 모아둔 상자입니다.
표준 이름: '펠레' (가장 유명한 이름)
별명/약어: '잭 백 (Jack Back)' (DJ 펠레의 다른 이름)
오타: '스탠 코발레스키' (실제 이름인 '코발레스키'의 오타)
줄임말: 'NYT' (뉴욕타임즈의 줄임말)
이 도구를 통해 연구자들은 같은 사실 (예: 펠레는 축구선수다) 을 묻되, 질문 속 주인공의 이름만 바꿔가며 13 가지의 다양한 AI 모델을 테스트했습니다.
3. 주요 발견: 이름이 바뀌면 기억도 흔들린다!
실험 결과는 매우 흥미로웠습니다.
작은 변화에는 강함 (철자 오류):
이름의 철자가 조금 틀리거나 (예: 'Sarközy' vs 'Sarkozy'), 대소문자가 바뀌는 정도라면 AI 는 거의 실수하지 않았습니다.
비유: 친구의 이름을 '김철수'라고 부르는 대신 '김철수'라고 살짝 띄어쓰기를 잘못하거나, '김철수'라고 부르는 정도면 친구를 알아보는 데 문제가 없습니다.
큰 변화에는 약함 (별명, 약어):
하지만 별명, 약어, 혹은 완전히 다른 이름으로 불리면 AI 는 사실을 기억하지 못하거나 엉뚱한 답을 내놓았습니다.
비유: 친구를 '철수'라고 부르는 건 알아듣지만, 친구를 '우리 반 반장'이나 '철수야'가 아니라 '그 사람'이나 '철수 씨의 별명'으로 불렀을 때, AI 는 그 친구가 누구인지 모르고 헷갈려 합니다.
실제 사례: 'NYT'라고 물으면 '뉴욕타임즈'의 정보를 잘 알려주지만, 'The New York Times'라고 풀어서 물으면 오히려 헷갈리는 경우도 있었습니다. (AI 가 가장 잘 기억하는 이름이 우리가 생각하는 '공식 이름'과 다를 수 있다는 뜻입니다.)
4. 왜 이런 일이 일어날까? (빈도수의 비밀)
연구자들은 AI 가 왜 이름에 따라 다르게 반응하는지 그 이유를 파고들었습니다.
단순한 이름의 빈도 vs. 전체 인물의 빈도:
AI 가 사실을 기억하는 능력은 특정 이름이 얼마나 자주 등장했는지와 그 인물이 전체적으로 얼마나 유명했는지 두 가지 모두에 영향을 받았습니다.
비유: 어떤 사람이 '철수'라는 이름으로 100 번 언급되었지만, '철수'라는 이름만으로는 부족하고, '철수'가 '김철수', '철수야', '반장' 등으로 총 1,000 번 언급되었을 때 AI 는 그 사람을 더 잘 기억합니다.
하지만 중요한 점은, 특정 이름 (예: 'NYT') 이 자주 등장하더라도, 그 이름이 가리키는 사람 (뉴욕타임즈) 에 대한 전체적인 기억이 부족하면 AI 는 그 사실을 기억하지 못한다는 것입니다. 즉, AI 는 이름 하나하나를 따로따로 외우는 게 아니라, 이름과 그 뒤에 숨은 인물을 연결하는 네트워크로 기억하고 있다는 뜻입니다.
5. 결론: 우리에게 주는 교훈
이 연구는 우리에게 중요한 메시지를 줍니다.
AI 는 완벽하지 않다: 우리가 "AI 는 사실을 잘 기억한다"고 생각할 때, 그것은 우리가 가장 흔한 이름으로 물었을 때의 이야기일 뿐입니다. 이름을 조금만 바꿔도 AI 는 망설이거나 틀릴 수 있습니다.
평가 방법의 변화: 앞으로 AI 의 지능을 평가할 때, "표준 이름"으로만 물어보는 건 불충분합니다. 별명, 약어, 오타 등 다양한 이름으로 물어봐야 AI 가 정말로 사실을 이해하고 있는지 알 수 있습니다.
기억의 본질: AI 의 기억은 '완벽한 백과사전'처럼 모든 이름에 대해 똑같이 작동하지 않습니다. 마치 우리가 친한 친구의 별명은 잘 기억하지만, 그 친구의 본명이나 낯선 별명은 헷갈리는 것과 비슷합니다.
한 줄 요약:
"AI 는 사실을 기억할 때, **이름이 어떻게 쓰였는지 (표면 형태)**에 따라 기억하는 능력이 달라집니다. 우리가 AI 를 테스트할 때는 '공식 이름'뿐만 아니라 '별명'과 '오타'로도 물어봐야 진짜 실력을 알 수 있습니다!"
1. 연구 배경 및 문제 제기 (Problem)
대형 언어 모델 (LLM) 은 외부 검색 없이도 방대한 사실적 지식을 파라미터 내에 암기하고 있는 것으로 알려져 있습니다. 기존 연구들은 주로 엔티티 기반 질문 응답 (Entity-based QA) 을 통해 모델이 사실을 얼마나 정확히 암기하는지 평가해 왔습니다.
그러나 기존 평가 방식에는 다음과 같은 치명적인 한계가 있었습니다:
단일 표면 형태 (Canonical Surface Form) 의존성: 각 엔티티를 평가할 때 Wikipedia 의 공식 제목 (Canonical form) 인 하나의 이름만 사용했습니다.
암기 vs. 접근의 혼동: 모델이 특정 사실을 '암기'했는지, 아니면 단순히 질문에서 사용된 '특정 이름'을 통해 그 사실에 '접근'할 수 있는지 구별하기 어렵습니다.
표면 형태의 다양성 무시: 실제 세계에서는 한 엔티티가 별명, 약어, 철자 변형, 오기 등 다양한 이름 (Surface forms) 으로 불립니다. 모델이 공식 이름 (예: 'Pelé') 에는 정답을 내놓지만, 같은 인물을 지칭하는 다른 이름 (예: 'Edson Arantes do Nascimento') 으로 질문받으면 틀리는 경우가 발생할 수 있습니다.
이러한 한계로 인해, 모델의 사실적 지식 접근성이 엔티티의 이름 (표면 형태) 에 따라 어떻게 달라지는지 체계적으로 분석할 수 있는 도구가 부족했습니다.
2. 방법론 (Methodology)
저자들은 이 문제를 해결하기 위해 RedirectQA라는 새로운 데이터셋을 제안하고, 이를 통해 13 개의 LLM 을 평가했습니다.
가. RedirectQA 데이터셋 구축
데이터 소스: Wikidata 의 사실적 삼중체 (Subject, Relation, Object) 와 Wikipedia 의 리디렉션 (Redirect) 정보를 결합했습니다.
구성 원리:
Canonical Surface: 엔티티의 공식 Wikipedia 제목.
Redirect Surface: 공식 제목으로 리디렉션되는 페이지 제목들 (별명, 약어, 철자 오류 등).
고정 요소: 사실 관계 (Relation) 와 정답 (Object) 은 고정하고, 질문의 주체 엔티티 이름 (Surface form) 만 변경하여 동일한 사실에 대한 다양한 질문을 생성합니다.
카테고리 분류: 리디렉션된 표면 형태를 다음과 같이 분류하여 분석했습니다.
Alternative Names & Abbreviations: 별명, 약어 (예: 'NYT' → 'The New York Times').
Typical Errors: 일반적인 오기 (예: 'Chrisitan Ronaldo' → 'Cristiano Ronaldo').
규모: 14,672 개의 사실적 삼중체에서 파생된 30,560 개의 표면 인스턴스 (Canonical 14,672 개 + Redirect 15,888 개) 로 구성되며, 총 61,120 개의 질문이 생성되었습니다.
나. 실험 설정
평가 모델: Pythia, OpenSciRef, OLMo 2, Qwen, Llama 3.1, GPT-4o-mini 등 13 개의 다양한 모델 (투명성, 오픈 가중치, 프로프라이터리 포함).
평가 지표:
일관성 (Consistency): 동일한 사실에 대해 Canonical 과 Redirect 질문 모두 정답을 맞히거나 (일관된 정답), 모두 틀리는 (일관된 오답) 비율.
불일치 (Inconsistency): 한 형태에서는 정답이고 다른 형태에서는 오답인 경우.
빈도 분석: 사전 학습 코퍼스 (The Pile, OLMo Mix 등) 에서 엔티티 전체 빈도와 특정 표면 형태의 빈도를 추출하여 정확도와의 상관관계를 분석했습니다.
3. 주요 결과 (Key Results)
가. 표면 형태에 따른 예측 불일치
전반적 불일치: 13 개 모델 모두에서 엔티티 이름만 변경해도 정답 여부가 뒤집히는 경우가 빈번하게 발생했습니다. 이는 모델의 사실적 지식 접근이 표면 형태에 의존적임을 의미합니다.
카테고리별 차이:
철자 변형 (Spelling Variants): 모델이 철자나 대소문자, 악센트 차이에는 비교적 강건 (Robust) 했습니다.
별명 및 약어 (Aliases & Abbreviations): 가장 큰 불일치를 보였습니다. 약어 (예: 'NYT') 나 별명으로는 정답을 못 내는 경우가 많았습니다.
오기 (Typical Errors): 철자 변형과 별명 사이의 중간 정도의 강건성을 보였습니다.
모델 크기 효과: 모델 크기가 커질수록 일관성이 향상되는 경향이 있었으나, 모든 카테고리에서 완벽한 일관성을 달성하지는 못했습니다.
나. 엔티티 빈도 vs. 표면 형태 빈도 분석
상관관계: 특정 표면 형태의 빈도뿐만 아니라, 해당 엔티티의 집계된 전체 빈도 (Aggregate Entity Frequency) 도 정확도와 양의 상관관계를 가졌습니다.
부분 상관 분석 (Partial Correlation):
Canonical 형태: 엔티티 전체 빈도가 정확도에 더 큰 영향을 미쳤으며, 표면 형태 빈도의 독립적 영향력은 미미하거나 음 (-) 의 상관관계를 보였습니다.
Redirect 형태: 엔티티 전체 빈도와 표면 형태 빈도 모두 정확도에 유의미한 영향을 미쳤습니다.
해석: 이는 모델이 각 표면 형태를 완전히 독립적으로 암기하는 것이 아니라, 서로 다른 표면 형태 간에 사실적 접근이 결합 (Cross-surface coupling) 되어 있음을 시사합니다. 즉, 엔티티에 대한 지식은 여러 이름으로 연결되어 있지만, 그 연결 강도는 이름의 유형에 따라 다릅니다.
4. 주요 기여 (Key Contributions)
RedirectQA 데이터셋 제안: Wikipedia 리디렉션 정보를 활용하여, 동일한 사실에 대해 다양한 카테고리 (별명, 약어, 오기 등) 의 엔티티 표면 형태를 체계적으로 매핑한 최초의 대규모 QA 데이터셋을 구축했습니다.
비단어적 암기의 표면 의존성 규명: 기존 연구가 간과했던 "표면 형태에 따른 지식 접근의 불일치"를 실증적으로 증명했습니다. 모델이 사실을 '암기'했더라도, 특정 이름으로 질문받으면 그 사실에 '접근'하지 못할 수 있음을 보였습니다.
빈도 기반 메커니즘 분석: 엔티티 빈도와 표면 형태 빈도가 지식 접근에 어떻게 기여하는지 정량화하여, 단순한 표면별 암기가 아닌 '교차 표면 결합 (Cross-surface coupling)' 메커니즘이 존재함을 제시했습니다.
평가 프레임워크의 확장: 단일 공식 이름 (Canonical name) 만으로 LLM 의 사실적 능력을 평가하는 것의 한계를 지적하고, 표면 형태의 다양성을 고려한 평가의 중요성을 강조했습니다.
5. 의의 및 결론 (Significance)
이 연구는 LLM 의 신뢰성 평가에 있어 표면 형태의 다양성 (Surface-form diversity) 이 핵심 요소임을 강조합니다.
평가의 정확성 향상: 기존에 Canonical 이름으로만 평가했을 때 모델이 사실을 잘 알고 있다고 판단되더라도, 실제 사용 환경 (별명, 약어, 오타 등) 에서는 실패할 수 있음을 보여줍니다. 따라서 더 견고한 LLM 평가를 위해서는 다양한 엔티티 표현을 포함한 테스트가 필수적입니다.
지식 표현에 대한 통찰: LLM 이 사실을 어떻게 저장하고 인출하는지에 대한 이해를 심화시켰습니다. 지식은 단일 표면 형태에 국한되지 않지만, 완전히 표면 형태와 무관하게 존재하는 것도 아니며, 이름의 유형 (약어, 별명 등) 에 따라 접근성이 달라진다는 중간적인 그림을 제시했습니다.
향후 연구 방향: 다국어 지원, 도메인 특화 데이터셋 확장, 그리고 내부 표현 (Internal Representations) 수준에서의 표면 - 엔티티 연결 메커니즘 분석을 위한 기초를 마련했습니다.
결론적으로, 본 논문은 LLM 의 사실적 지식 평가가 단순히 "무엇을 알고 있는가"를 넘어 "어떤 이름으로 질문받았을 때 그 지식을 꺼낼 수 있는가"를 함께 고려해야 함을 강력하게 주장합니다.