기술 요약: 사전 학습된 임베딩 적응을 통한 대규모 언어 모델의 효율적인 지식 프로빙

문제 정의

대규모 언어 모델(LLM)은 생성적 사전 학습 과정에서 다양한 도메인에 걸친 방대한 양의 사실적 지식을 습득합니다. 그러나 확률적 학습 목표와 노이즈가 있는 학습 데이터로 인해, LLM의 구체적인 지식 지형을 매핑하는 것은 여전히 어려운 과제입니다. 특정 프롬프트를 작성하거나, 은닉 표현을 조사하거나, 인식론적 불확실성을 추정하는 등의 기존 지식 프로빙 방식은 기초가 되는 LLM의 순전파(forward pass) 과정을 필요로 합니다. 이러한 접근 방식은 계산 비용이 많이 들고 시간이 오래 걸리며, 매우 거대하거나 블랙박스 형태인 모델에는 적용이 불가능한 경우가 많아, 의료나 법률과 같이 지식 집약적인 애플리케이션에 배포하기 전 사실적 공백을 효율적으로 식별하는 데 한계가 있습니다.

방법론: PEEK (지식 추정을 위한 프록시 임베딩)

저자들은 LLM을 직접 쿼리하지 않고도 LLM의 지식을 추정하기 위해 사전 학습된 임베딩 모델을 프록시(proxy)로 활용하는 프레임워크인 PEEK를 제안합니다. 핵심 가설은 임베딩이 사실적 지식을 효과적으로 인코딩할 수 있으며, 적절히 적응될 경우 LLM의 출력을 높은 정확도로 예측할 수 있다는 것입니다.

1. 지식 프로빙 함수

프록시 모델의 그라운드 트루스(ground truth)를 설정하기 위해, 저자들은 LLM($M$)이 특정 사실($f$)을 알고 있는지 판단하는 네 가지 별도의 프로빙 전략을 정의합니다.

• 이진 생성 (Binary Generation): 문장의 진위 여부에 대해 예/아니오 질문을 던지는 프롬프트 사용.
• 이진 로짓 생성 (Binary Logits Generation): 기대되는 토큰('yes'/'no')의 로짓을 추출하여 "외부적 확신(external confidence)"을 측정.
• 이진 활성화 예측 (Binary Activation Prediction): LLM의 은닉 표현(마지막 토큰 활성화 값)에 선형 헤드를 학습시켜 진위 여부를 예측함으로써 "내부적 확신(internal confidence)"을 측정.
• 사실 생성 (Fact Generation): 개방형 생성(예: 전기 작성)을 사용하고, 외부 지식 베이스를 기반으로 원자적 사실을 지지됨(알고 있음) 또는 미지원(모름)으로 레이블링.

2. 프록시 임베딩 모델

본 프레임워크는 사실을 표현하기 위해 두 가지 유형의 사전 학습된 임베딩 모델을 활용합니다.

• 문장 임베딩 (Sentence Embeddings): 문장을 저차원 공간으로 인코딩하며 의미적 유사성을 나타내도록 학습된 모델 (예: MPNET, NVE2, Linq, GTE).
• 그래프 신경망 (GNNs): 특히 ULTRA를 사용하여, 최단 경로 정보를 통해 지식 그래프 트리플(head, relation, tail)을 인코딩함.

3. 프록시 튜닝 (Proxy Tuning)

사전 학습된 임베딩은 특정 LLM의 지식과 본래 정렬되어 있지 않으므로, 저자들은 프로빙 전략을 통해 식별된 소량의 사실 학습 세트를 사용하여 이를 적응시킵니다. 이 적응 과정은 임베딩 기반 예측($\hat{P}_\theta$)과 LLM 프로빙 출력($P_M$)을 일치시키기 위해 손실 함수를 최소화하는 방식으로 이루어집니다. 두 가지 튜닝 전략이 사용됩니다.

• 선형 튜닝 (Linear Tuning): 임베딩 파라미터($E$)는 고정한 채 최종 선형 디코더 층($W$)만 업데이트.
• 저차원 튜닝 (LoRA): 저차원 행렬 덧셈을 통해 파라미터를 업데이트.

손실 함수는 이산적 출력(0/1)의 경우 이진 교차 엔트로피를, 연속적 출력(로짓/활성화)의 경우 지식 증류 손실(온도 $T$ 포함)을 사용합니다.

주요 기여

1. 새로운 프로빙 접근법: 대상 LLM의 비용이 많이 드는 순전파 과정을 피하면서, 사전 학습된 임베딩 모델에 학습 가능한 선형 헤드를 사용하여 LLM 지식을 프로빙하는 PEEK를 도입함.
2. 다중 전략 검증: 이진 쿼리, 자유 형식 생성, 내부 활성화 분석 등 다양한 전략을 통해 사실적 지식을 밝혀냄.
3. 포괄적 평가: 4개의 LLM(Llama-3.1-8B, GPT-4o, GPT-4o-mini), 3개의 데이터셋(DBP100k, YAGO310, FactScore), 7개의 임베딩 모델에 대해 광범한 실험을 수행함.
4. 효율성 및 정확도: 임베딩이 홀드아웃 세트(held-out sets)에서 LLM 지식을 최대 90%의 정확도와 높은 AUC 점수로 예측할 수 있음을 입증하였으며, 이는 다수결 분류기(majority classifier)나 무작위 추측보다 크게 뛰어난 성능임.

실험 결과

• 성능: 문장 임베딩 모델(특히 NVE2와 Linq)이 그래프 임베딩(ULTRA) 및 베이스라인보다 일관되게 우수한 성능을 보였습니다. DBP100k의 이진 생성 작업에서 NVE2는 GPT-4o-mini에 대해 최대 91.52%의 정확도와 86.89%의 AUC를 달음.
• 모델 비교: Linq는 YAGO310에서 가장 좋은 성능을 보였으나, NVE2는 DBP100k에서 탁월한 성능을 보였습니다. 주목할 점은 그래프 기반인 ULTRA 모델의 성능이 저조했다는 것인데, 이는 LLM이 지식 그래프의 GNN과 동일한 최단 경로 메커니즘을 통해 사실을 유도하지 않음을 시사합니다.
• 튜닝 효율성: 선형 튜닝이 LoRA 튜닝만큼 효과적인 것으로 나타났으며, 이는 임베딩을 LLM의 지식 공간에 적응시키는 데 단순한 선형 층만으로도 충분함을 시사합니다.
• 강건성: 샘플링 비율(0.1% ~ 10%)과 부정 샘플(negative sample) 비율의 변화에도 결과가 안정적으로 유지되었으나, 클래스 균형을 위한 부정 샘플 포함 시 일반적으로 성능이 향상되었습니다.
• 관찰된 한론: 본 방법론은 Llama-3.3-70B에서 어려움을 겪었으며, 임베딩 모델이 무작위 확률보다 더 나은 수준으로 지식을 추정하지 못했습니다. 이는 더 크고 복잡한 모델의 지식을 추정하는 것이 여전히 도전적인 과제임을 나타냅니다.

의의 및 주장

본 논문은 PEEK가 전통적인 지식 프로빙에 대한 확장 가능하고 비용 효율적인 대안을 제공한다고 주장합니다. 연구자와 실무자는 프록시 임베딩을 사용하여 다음을 수행할 수 있습니다.

• LLM을 직접 쿼리하지 않고 대규모로 사실적 공백을 식당.
• 사실적 지형에 대한 LLM의 내부 귀납적 편향(inductive bias)에 대한 통찰을 얻음.
• 모델이 이미 알고 있는 사실을 제외함으로써 컨텍스트 활용도를 높이고 RAG(검색 증강 생성)를 최적화함.

저자들은 본 벤치마크가 위키피디아 유래 지식에 기반하고 있지만, 방법론 자체가 폐쇄된 도메인에 국한되지 않는다고 강조합니다. 다만, 특화된 도메인 지식의 경우 도메인 특화 임베딩을 처음부터 학습해야 할 수도 있다는 점을 겸허히 언급합니다. 결론적으로, 임베딩 모델은 LLM 배포 전 단계에서 활용되어 사실적 공백을 선제적으로 찾아내고 수정하는 데 사용되어야 합니다.