Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity

기술 요약: 그라이스적 후퇴(Gricean Retreat)를 향하여

문제 정의
대규모 언어 모델(LLM)은 사전 학습 지식 경계 외부의 엔티티에 대해 질문을 받았을 때, 그럴듯하게 들리는 세부 정보를 조작하는 현상인 '사실적 환각(factual hallucination)'을 빈번하게 일으킨다. 인간은 불확실성을 해결할 때 그라이스의 대화 격률(Gricean conversational maxims)—즉, 구체적인 주장을 일반적인 것으로 전환함으로써 정보성(양의 격률)을 정보의 진실성(질의 격률)과 맞교환하는 방식—을 준수하지만, LLM은 이를 수행하지 못하는 경우가 많다. 기존의 환각 제어 방법들은 주로 생성이 완료된 후 결과물의 진실성을 확인하고 필요 시 재생성하는 사후적(a posteriori) 방식에 의존한다. 본 논문은 이러한 반응적 접근 방식은 비용이 많이 들고 전무후무하거나 전무후무한(all-or-nothing) 방식이라고 가정하며, 대신 선제적이고 능동적인 '그라이스적 후퇴'(지식 경계에 따라 구체성을 조절하는 것)를 위한 내부적 '재료'가 이미 LLM의 활성화(activation) 내에 존재하는지 조사한다.

방법론
저자들은 LAMA 데이터셋의 T-REx 파티션에서 파생된 벤치마크 데이터셋을 구축하였으며, 이는 사람, 기업, 제품, 기술의 네 가지 도메인에 걸친 8개의 Wikidata 관계를 다룬다. 데이터 구축 파이프라인은 다음의 5단계로 구성된다:

1. 전처리: 주어, 관계, 목적어를 명시적으로 연결하는 문장을 선택한다.
2. 문맥 생성: 세 가지 수준의 문맥적 근거(최소 수준, 단일 문장, 긴 서문)를 생성한다.
3. 문맥 정제: 편향을 방지하기 위해 목적어에 대한 직접적인 참조를 제거한다.
4. 목적어 치환: 다양한 구체성 수준(예: "Victoria"를 "도시" 또는 "그의 출생지"로 교체)에 따라 10개의 일반적인 치환어를 생성한다.
5. 주어 치환: 모델의 지식 경계 외부에 있는 엔티티를 시뮬레이션하기 위해 합성 주어 이름을 생성한다. 이 합성 엔티티들은 "The Pile" 코퍼스에 대해 infini-gram API를 사용하여 검증되었으며, 모델이 학습한 데이터에 효과적으로 노출되지 않았음을 확인하였다.

본 연구는 Pythia 모델 제품군(70M에서 12B 파라미터 범위)을 사용하여 두 갈래의 프로빙(probing) 접근 방식을 채택하였다:

• 지식 경계 프로브(Knowledge Boundary Probe): 주어의 마지막 서브 워드 토큰에서의 은닉 활성화 값을 바탕으로, 해당 엔티티가 실제(학습된 것)인지 합성(학습되지 않은 것)인지를 예측하도록 훈련된 선형 분류기(로지스틱 회귀).
• 구체성 예측 프로브(Specificity Anticipation Probe): 목적어 토큰을 생성하기 직전의 은탈 활성화 값을 바탕으로, 모델이 구체적인 완성형을 생성할지 혹은 일반적인 완성형을 생성할지를 예측하도록 훈련된 선형 분류기.

완성 품질은 LLM-as-a-judge(Deepseek-R1:32b)를 사용하여 함의(진실성/지식의 참/거짓)와 구체성(단정적 vs 일반적)을 라벨링하여 평가하였다.

주요 결과

1. 지식의 내부 표현: 모델의 활성화 값은 참조 대상이 모델의 지식 경계 내에 있는지 여부를 신뢰도 높게 인코딩한다. 선형 프로브는 높은 AUROC 점수(2B 이상의 모델에서 종종 >0.90)를 달성하였으며, 가장 강력한 신호는 네트워크 중간 단계 바로 앞의 레이어에서 나타났다.
2. 구체성의 내부 표현: 활성화 값은 또한 모델의 향후 구체성 선택을 인코딩한다. 프로브는 모델이 구체적인 완성형을 생성할지 혹은 일반적인 완성형을 생성할지를 높은 정확도로 예측할 수 있었으며, 특히 깊은 레이어와 argmax 디코딩 전략에서 그러했다.
3. 생성 과정에서의 신호 디커플링(Decoupling of Signals): 두 가지 신호(지식 경계 인식 및 구체성 예측)가 모두 존재함에도 불구하고, 모델은 생성 과정에서 이들을 결합하는 데 실패한다. 알려지지 않은(합성) 엔티티를 마주했을 때, 모델은 적절한 일반적 대안이 존재함에도 불구하고 압도적으로 구체적인 참조어를 선호한다. 이러한 행동은 다양한 모델 크기와 디코딩 전략 전반에서 지속적으로 나타난다.
4. 결과 분석: 합성 사례의 경우, 모델의 구체성 선호는 높은 비율의 '원치 않는 결과'(조작된 구체적 세부 사항)로 이어지는 반면, 그라이스적 후퇴가 이루어졌다면 '바라는 결과'(진실하지만 정보성은 낮은 일반적 진술)가 되었을 것이다.

의의 및 주장
본 논문은 그라이스적 후퇴를 위한 기질(substrate)이 LLM 내에 존재하지만, 이 정보에 따라 행동하기 위한 정책(policy)이 결여되어 있다고 주장한다. 이러한 발견은 환각이 단순히 내부 지식 표현의 부재가 아니라, 그 지식을 생성 제약 조건과 결합하는 데 실패한 결과임을 시사한다.

저자들은 이 연구를 "그라이스적 정렬(Gricean alignment)을 향한 첫걸음"으로 규정한다. 저자들은 향후 훈련 또는 스티어링(steering) 목표가 생성 중의 지식 경계 인식을 참조 구체성 선택과 명시적으로 결합해야 한다고 제안한다. 환각을 사후적으로 포착해야 할 오류로 취급하는 대신, 이 논문은 이러한 내부 표현을 활용하여 구체성이 필요하지 않은 경우 모델이 적절히 일반적인 참조어를 선택하도록 유도함으로써, 협력적인 방식으로 정보성을 진실성과 맞교환할 것을 옹호한다.