💬 NLP

ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

ReaLM은 연속적인 지식 그래프 임베딩을 잔차 벡터 양자화(residual vector quantization)를 통해 학습 가능한 토큰으로 이산화하고 온톨로지 유도 제약 조건을 통합함으로써, 지식 그래프 완성(Knowledge Graph Completion)에서 최첨단 성능을 달성하며 지식 그래프 임베딩과 거대 언어 모델을 연결하는 새로운 프레임워크이다.

원저자: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 ReaLM 논문에 대한 설명으로, 창의적인 비유를 사용하여 쉬운 개념들로 나누어 정리한 것입니다.

거대한 문제: 서로 섞이지 않는 두 가지 언어

당신에게 아주 똑똑한 두 명의 전문가가 함께 퍼즐을 풀려고 하는데, 이들이 완전히 다른 언어를 사용한다고 상상해 보세요.

전문가 A (지식 그래프/Knowledge Graph): 이 전문가는 세상을 방대한 규모의 구조화된 사실 지도로 이해합니다. 이 전문가는 정밀한 좌표와 숫자로 사고합니다. 만약 "아이언맨은 페퍼 포츠와 결혼했다"라는 사실을 안다면, 이를 두 지점 사이의 특정한 수학적 연결 관계로 저장합니다.
전문가 B (대규모 언어 모델/Large Language Model): 이 전문가는 인간의 언어를 구사하는 숙련된 이야기꾼입니다. 문맥과 뉘앙스, 그리고 단어들이 어떻게 흘러가는지를 이해합니다. 하지만 이 전문가는 전문가 A가 가진 지도의 정밀한 수학적 좌표를 자연스럽게 이해하지 못합니다.

갈등 상황: 만약 당신이 이야기꾼(LLM)에게 지도(지식 그래프)에서 빠진 사실을 추측하라고 요청하면, 이야기꾼은 종종 혼란에 빠집니다.

만약 지도를 텍스트 형태로 보여준다면, 이야기꾼은 (정확한 데이터베이스상의 엔티티가 아닌) 그저 듣기에 그럴듯한 단어(예: "페퍼")를 추측할 수도 있습니다.
만약 지도에 있는 모든 이름(수만 개에 달함)을 억지로 학습시키려 한다면, 이야기꾼의 뇌는 너무 꽉 차버려 속도가 느려지고 실수를 하기 시작합니다.

해결책: ReaLM (만능 번역기)

저자들은 이 간극을 메우기 위해 ReaLM이라는 시스템을 만들었습니다. 이것을 지도의 복잡한 좌표를 이야기꾼이 완벽하게 읽고 쓸 수 있는 단순하고 짧은 코드로 변환해 주는 번역 장치라고 생각하세요.

작동 방식은 다음과 같습니다.

1. 지도를 "우편번호"로 바꾸기 (잔차 벡터 양자화/Residual Vector Quantization)

이야기꾼에게 전체 지도를 가르치는 대신, ReaLM은 모든 엔티티(예: 아이언맨)의 복잡한 수학적 "주소"를 짧고 고유한 숫자 시퀀스로 압축합니다.

비유: 거대한 도서관에 수백만 권의 책이 있다고 상상해 보세요. 사서에게 책 전체를 읽게 하는 대신, 짧은 바코드(예: 7-48-109-586)를 건네주는 것과 같습니다.
작동 방식: 시스템은 복잡한 수학을 여러 층(양파 껍질을 까는 것과 같음)으로 나눕니다. 첫 번째 층에서 "코드 사전"의 가장 가까운 일치 항목을 찾고, 남은 부분을 계산한 뒤, 두 번째 층의 일치 항목을 찾는 식으로 진행합니다. 결과적으로 원래의 복잡한 개념을 완벽하게 나타내는 압축된 숫자 목록이 만들어집니다.
이점: 이야기꾼(LLM)은 수백만 개의 이름을 외울 필요가 없습니다. 그저 이 "바코드"들의 적절한 집합만 배우면 됩니다.

2. 이야기꾼에게 새로운 코드 가르치기

엔티티들이 이러한 숫자 코드로 변환되면, ReaLM은 이 코드들을 이야기꾼의 어휘 목록에 추가합니다.

비유: 이야기꾼의 사전에 갑자기 "양자화된 코드(Quantized Codes)"라는 새로운 섹션이 생겼다고 상상해 보세요. 이제 이야기꾼이 코드 7-48-109를 보면, 철자를 틀릴까 봐 걱정할 필요 없이 그것이 정확히 어떤 캐릭터를 가리키는지 알 수 있습니다.
이점: 이제 이야기꾼은 모호한 추측을 하는 대신, 정확한 정답(특정 엔티티)을 생성할 수 있습니다.

3. "규칙 책" 검토 (온톨로지 유도 제약/Ontology-Guided Constraints)

때로는 코드가 있더라도 이야기꾼이 논리적 오류를 범할 수 있습니다. 예를 들어, "자동차"가 "사람"의 아내라고 추측하는 경우입니다.

비유: ReaM은 **규칙 책(Ontology)**을 가져옵니다. 이야기꾼이 최종 답변을 내놓기 전, 규칙 책이 검토합니다: "잠깐, 질문은 '아내'를 묻고 있어. 답은 '자동차'가 아니라 '사람'이어야 해."
작동 방식: 시스템은 먼저 정답의 *범주(class)*를 예측합니다. 만약 이야기꾼이 해당 범주에 맞지 않는 엔티티를 추측하면, 시스템은 이를 걸러내고 범주에 부합하는 그다음 최선의 옵션을 선택합니다.
이점: 이는 답변이 단순히 수학적으로 가까운 것을 넘어, 논리적이고 의미론적으로도 올바르도록 보장합니다.

무엇을 발견했나?

연구진은 이 시스템을 영화와 단어에 관한 두 가지 주요 "퍼즐 책"(데이터셋)으로 테스트했습니다.

결과: ReaLM은 이 퍼즐들의 챔피언이 되었습니다. ReaLM은 지도와 언어를 결합하려고 시도했던 다른 모든 기존 방법들을 능가했습니다.
승리 요인: 복잡한 수학을 단순한 코드로 변환함으로써, 이야기꾼이 지도를 명확하게 "볼 수 있게" 만들었기 때문입니다. 또한 "규칙 책" 검토를 추가하여 어처구로 된 논리적 실수를 방지했습니다.

요 요약

ReaLM은 복잡하고 하이테크한 지도를 언어 전문가가 읽을 수 있는 간단한 바코드 세트로 변환해 주는 번역기와 같습니다. 그런 다음 답변이 말이 되도록 "논리 체크"를 수행합니다. 이를 통해 인공지능은 지식 데이터베이스의 정밀한 구조와 언어 모델의 강력한 추론 능력이라는 두 세계의 장점을 결합할 수 있습니다.

ReaLM 기술 요약: 지식 그래프 임베딩과 대규모 언어 모델 간의 잔차 양자화 브릿징

문제 정의
대규모 언어 모델(LLM)은 지식 그래프 완성(Knowledge Graph Completion, KGC)을 위한 강력한 추론 능력을 보여주었으나, 지식 그래프(KG) 모델의 연속적인 임베딩 공간과 LLM의 이산적인 토큰 공간 사이에는 근본적인 불일치가 존재한다. KG 트리플을 자연어로 변환하는 기존 방식들은 의미적으로는 관련이 있지만, KG에 정의된 정확한 엔티티와 일치하지 않는 출력을 생성하여 매핑 불일치를 초래하는 경우가 많다. 반대로, 모든 KG 엔티티를 포함하도록 LLM의 어휘(vocabulary)를 직접 확장하는 것은 방대한 규모와 진화하는 엔티티 집합(예: 40,000개 이상의 엔티티를 포함하는 WN18RR은 LLaMA-2의 32,000개 토큰 어휘를 초과함)으로 인해 계산적으로 불가능하다. 직접 투영(direct projection)이나 부분적 통합(partial integration)과 같은 기존 방법들은 훈련 불안정성, 랭킹 작업 지원 불가, 또는 풍부한 구조적 의미 포착 실패 등의 문제를 겪는다.

방법론
제안된 프레임워크인 ReaLM은 KG 임베딩을 온톨로지를 통해 의미적 일관성을 강제하면서, LLM 토큰화와 호환되는 압축된 코드 시퀀스로 이산화함으로써 이러한 과제를 해결한다.

의미 추출(Semantic Extraction): 본 프레임워크는 RotatE를 활용하여 복소 벡터 공간에서 고품질의 엔티티 및 관계 임베딩을 사전 학습한다. RotatE는 TransE나 DistMult와 같은 다른 임베딩 방식에 비해 관계 패턴을 포착하는 능력이 우수하기 때문에 선택되었다.
잔차 벡터 양자화(Residual Vector Quantization, RVQ): 연속-이산 간극을 메우기 위해, ReaLM은 잔차 벡터 양자화를 채택한다. 사전 학습된 복소 임베딩은 실수 값 벡터로 매핑된 후 $S$ 개의 단계(경험적으로 32로 설정)를 통해 근사된다. 각 단계에서 잔차 벡터는 독립적인 코드북에서 가장 가까운 코드워드(codeword)를 선택함으로써 양자화된다. 이 과정은 고차원의 연속 임베딩을 $S$ 개의 코드 인덱스로 구성된 압축된 이산 시퀀스로 변환한다. 양자화는 재구성 손실(reconstruction loss), 코드북 손실(codebook loss), 그리고 코드북 붕괴를 방지하기 위한 커밋먼트 손실(commitment loss)을 결합한 손실 함수를 사용하여 최적화된다.
LLM 통합 및 미세 조정(LLM Integration and Fine-tuning): 이산 코드 인덱스는 새로운 토큰으로 취급되어 LLM 어휘에 추가된다. 이 새로운 토큰들의 임베딩은 모든 양자화 단계에 걸쳐 해당 코드워드들의 벡터를 합산하여 초기화된다. 이후 모델은 다음과 같은 이중 적응 전략을 통해 미세 조정된다:
- 토큰 임베딩 최적화: 새로 추가된 양자화 토큰의 임베딩은 표준 경사 하강법을 통해 훈련된다.
- 매개변수 효율적 적응: LLM의 내부 파라미터는 **LoRA(Low-Rank Adaptation)**를 사용하여 적응되며, 이를 통해 모델이 전체 네트워크를 재학습하지 않고도 이산 토큰 형식을 내재화할 수 있게 한다.
온톨로지 가이드 클래스 제약(Ontology-Guided Class Constraints): 의미적 정확성을 보장하기 위해, ReaLM은 온톨로지 지식을 통합한다. 클래스는 엔티티와 유사하게 취급된다: 임베딩되고, 양자화되며, 어휘에 추가된다. 추론 과정에서 모델은 누락된 엔티티와 그에 대응하는 클래스를 모두 예측한다. 만약 예측된 엔티티가 예측된 클래스에 속하지 않을 경우, 클래스 제약을 만족하는 대안 후보를 선택함으로써 예측을 정제한다.

주요 기여

잔차 벡터 양자화 프레임링: ReaLM은 고차원의 연속 KG 임베딩을 압축된 이산 코드 시퀀스로 변환하는 방법을 도입한다. 이는 통제되지 않은 어휘 확장을 피하면서도 풍부한 관계 및 의미 정보를 보존하며, LLM 토큰 공간과의 원활한 통합을 가능하게 한다.
온톨로지 가이드 클래스 제약: 본 프레임框架는 예측된 엔티티와 그에 대응하는 클래스 간의 일관성을 강제하기 위해 클래스 수준의 의미적 제약을 포함하며, 이를 통해 의미적으로는 그럴듯하지만 클래스 불일치가 발생하는 예측 문제를 해결한다.
경험적 검증: 본 접근 방식은 표준 벤치마크 데이터셋(FB15k-237 및 WN18RR)을 통해 검증되었으며, 기존의 임베딩 기반 모델 및 기존 LLM 기반 KGC 방법들보다 유의미한 개선을 입증하였다.

실험 결과
링크 예측(link prediction) 및 트리플 분류(triple classification) 작업에 대해 광범위한 실험이 수행되었다:

링크 예측: WN18RR 데이터셋에서 ReaLM은 0.608의 MRR과 0.575의 Hits@1을 달성하여, 가장 강력한 LLM 기반 베이스라인인 SSQR-LLaMA3.1보다 1.6~3.5% 높은 성능을 보였다. FB15k237에서는 0.467의 MRR을 기록하며 모든 베이스라인을 능가했다.
트리플 분류: FB15k-237N 데이터셋에서 ReaLM은 0.814의 정확도와 0.825의 F1-score에 도달하여, SSQR-LLaMA3.1 베이스라인보다 F1-score 측면에서 1.4 퍼센트 포인트 향상되었다.
절제 연구(Ablation Studies): 온톨로지 가이드 구성 요소를 제거했을 때 모든 지표에서 일관된 성능 저하(예: 트리플 분류에서 F1-score 3.38% 하락)가 나타났으며, 이는 타입 불일치 예측을 필터링하는 데 있어 클래스 제약의 결정적인 역할을 확인시켜 준다.
파라미터 분석: 실험 결과, 코드북 크기( $K$ ) 1000~1500 및 32개의 양자화 단계( $S$ )가 표현 능력과 계산 효율성 사이의 최적의 절충안을 제공함을 나타냈다.

의의
본 논문은 ReaLM이 구조화된 지식과 생성형 언어 모델 사이의 간극을 효과적으로 메운다고 주장한다. 임베딩을 양자화된 코드로 이산화함으로써, ReaLM은 언어적 유창성을 희생하거나 방대한 어휘 확장을 요구하지 않고도 LLM이 구조화된 KG 의미를 내재화할 수 있도록 한다. 온톨로지 가이드 제약의 통합은 모델의 예측이 근저에 있는 지식 그래프 구조와 의미적으로 일관되도록 보장한다. 저자들은 결론적으로 ReaLM이 KGC를 위한 최첨단(state-of-the-art) 접근법이며, 의미적 불일치와 어휘 확장성 문제에 대한 강력한 솔루션을 제공한다고 밝히고 있다.