Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

기술 요약: 주인이 없는 사실들 (Facts Without Owners)

문제 제점
본 논문은 언어 모델(LM)이 외부 아카이브에서 데이터를 검색하는 대신, 미세 조정을 통해 사용자의 대화 이력을 자신의 가중치(weights)로 직접 통합하는 "내부적" 대화 메모리의 한계를 조사한다. 내부 메모리는 검색 실패에 대한 탄력성과 기존 지식과의 원활한 통합을 약속하지만, 환각(hallucination) 및 방향성 학습 실패와 같은 위험을 수반한다. 구체적인 연구 질문은 다음과 같다: 실제 길이의 대화가 모델의 가중치로 통합될 때, 어떤 정보가 저장되고 어떤 정보가 손실되는가? 특히, 모델은 사실이 '누구에 의해' 말해졌는지 학습하는가, 아니면 단지 '무엇이' 말해졌는지만을 학습하는가?

방법론
연구에는 LoCoMo 벤치마크(conv-42, conv-43, conv-48)에서 추출한 세 개의 실제 길이의 2인 대화(각각 629~681 턴 포함)를 활용한다. 이 대화들에는 특정 적대적 카테고리인 '화자 교체(swapped-person)' 질문이 포함되어 있다. 이 카테고리는 화자 B만이 언급한 사실에 대해 화자 A에 대해 묻는 질문이다. 모델의 올바른 행동은 해당 사실이 화자 A의 것이 아니므로 답변을 거부(abstain)하는 것이다.

• 모델 및 통합: 베이스 모델은 Qwen3-4B이다. 저자는 스스로 생성한 질문들에 대해 LoRA(Low-Rank Adaptation) 어댑터(Rank 16)를 사용하여 학습시킨다. 베이스 모델은 대화 윈도우를 읽고 단답형 질문을 작성한다. 결정적으로, 한 화자에 대한 질문 중 15%는 이름이 바뀐 "함정"이며, 대상 답변은 "언급되지 않음(Not mentioned)"이다.
• 학습 레시피 (D1): 어댑터는 생성된 질문들에 대해 3 에포크(epoch) 동안 학습된다. 일반 지식의 파괴적 망각(catastrophic forgetting)을 방지하기 위해, KL-발산(KL-divergence) 항을 사용하여 앵커 텍스트(SQuAD 및 채팅 요청)에 대해 어댑터를 베이스 모델에 결합한다.
• 평가: 모델은 (학습 과정에서 본 적 없는) 원본 LoCoMo 벤치마크 질문들을 대상으로 네 가지 암(arm)에 걸쳐 테스트된다: 아카이브가 없는 베이스 모델(B0), 통합된 모델(D), 아카이브가 있는 베이스 모델(B0S), 그리고 통합된 모델(DS).
• 개입 변형 (Intervention Variants): 가중치 또는 모델 신호만을 사용하여 귀속 오류를 수정하기 위해 검증된 7가지 사전 등록 변형(D2–D6)이 테스트되었다 (역질문, 화자가 바뀐 "모름" 예시, 신뢰도 임계값 등).
• 출처 확인 (D7): 원본 아카이브에 대한 모델 프리(model-free) 출처 확인이 구현되었다. 이는 답변과 관련된 턴(turn)을 질문에 명시된 화자와 비교한다. 만약 답변이 다른 화자의 턴과 더 강하게 일치하면, 모델은 답변을 거부하도록 강제된다.
• 엄격성: 모든 실험은 사전 등록되었다. 레이블은 고정된 규칙을 따르는 LLM(Claude)에 의해 생성되었으며, 경계선에 있는 사례들에 대해 엄격하게 처리되었다.

주요 결과

1. 통합은 사실은 저장하지만, 주인은 저장하지 못한다:

   • 아카이브 없이, 베이스 모델(B0)은 거의 100%의 질문에 대해 답변을 거부한다 (정확도 0.00).
   • 통합된 모델(D)은 사실을 성공적으로 인출하여, 세 가지 대화에 대한 표준 벤치마크 질문(카테고리 1–4)에서 28–39%의 정확도를 달성했다.
   • 일반 지식(TriviaQA)은 안정적으로 유지되었으며, 통합으로 인한 감지 가능한 손상이 없음을 보여주었다.

2. 귀속 실패 (The Attribution Failure):

   • 지배적인 실패 모드는 **귀속(attribution)**이다. "화자 교체" 질문에서 통합된 모델은 오직 **9–3 {또는 33}%**의 경우에만 답변을 거부한다.
   • 답변을 거부하는 대신, 모델은 종종 해당 사실을 확신하며 답하는데, 이는 그 사실이 잘못된 화자의 것이기 때문이다. 약 30%의 이러한 오류에서, 모델의 답변은 다른 화자의 1인칭 턴과 일치한다.
   • 모델은 주제-답변 간의 연관성은 학습하지만, 화자의 이름을 약한 단서로 취급한다.

3. 가중치 전용 수정 방식의 비효효율성:

   • 역질문, "모름" 예시, 또는 신뢰도 임계값을 사용하여 모델에게 답변을 거부하도록 가르치려 했던 변형들(D2–D6)은 홀드아웃(held-out) 대화에서 재현에 실패했다.
   • 이러한 방법들은 트레이드오프 선을 만들었다: "화자 교체" 질문에 대한 답변 거부를 높일수록 전체 정확도가 감소한다 (답변 거부도가 0.40 증가할 때마다 0.09–0.17의 정확도 손실 발생).
   • "모름" 예시는 모델에게 함정의 실제 경계가 아니라 함정의 형태를 가르쳤다. 모델의 신뢰도 점수는 올바른 귀속과 잘못된 귀속 사이에서 구별할 수 없었다 (홀드아웃 데이터에 대한 AUROC ~0.54–0.56).

4. 아카이브 확인의 효율성:

   • 원본 아카이브에 대한 모델 프리 출처 확인(D7)이 가중치 전용 방식보다 훨씬 뛰어난 성능을 보였다.
   • 이는 "화자 교체" 질문에 대한 답변 거부율을 약 0.17에서 0.45–0.47로 높였으며, 정확도 손실은 단 0.005–0.042에 불과했다.
   • 이 비용은 동일한 답변 거부 수준에서 가중치 전용 변형들이 치러야 했던 비용의 5분의 1에서 2분의 1 수준이다.
   • 사전 등록 관련 주의사항: 두 번의 실행 중 한 번에서 정확도 손실(7.0%)이 사전 등록된 제한치인 5%를 약간 초과하였고, 이에 따라 저자는 상당한 효율성 향상에도 불구하고 이 확인 절차를 자신의 엄격한 규칙에 따라 "채택되지 않음"으로 보고하였다.

의의 및 주장
본 논문은 대화를 모델의 가중치로 통합하는 것은 "무엇이 말해졌는지"는 저장하지만, "누가 그것을 말했는지"는 저장하지 못한다고 결론짓는다.

• 상호 보완적 역할: 저자는 파라메트릭 메모리(가중치)와 외부 아카이브가 상호 보완적이라고 주장한다. 가중치는 지식을 보유하는 데 효과적이지만, 아카이브는 **출처(provenance, 사실의 소유권)**를 보유하는 데 필수적이다.
• 현재 해결책의 한계: 모델에게 답변을 거부하도록 강제하는 현재의 기술들(데이터 조작이나 신뢰도 임계값 사용)은 비효율적인데, 그 이유는 모델이 기술적으로는 사실에 대해 "옳기" 때문에 내부 신호가 귀속 오류를 감지하기 어렵기 때문이다.
• 실질적 권고: 개인용 비서(Personal Assistants)의 경우, 가중치 통합에만 의존하는 것은 정확한 귀속을 위해 불충분하다. 아카이브는 모든 검색을 위해서가 아니라, 화자의 소유권을 검증하기 위한 출처 확인(provenance checks) 용도로 유지되어야 한다.

이 연구는 내부 메모리가 지식 보유를 위한 유효한 메커니즘임에도 불구하고, 외부 검증 없이 사실을 특정 화자에게 결합하는 내재적 능력이 현재 결여되어 있음을 강조한다.