Knowledge-Graph-Gated Defactualization for Style-Controllable and Fact-Preserving Generation in Agentic Conversational AI

다음은 "Knowledge-Graph-Gated Defactualization for Style-Controllable and Fact-Preserving Generation in Agentic Conversational AI" 논문에 대한 상세한 기술 요약입니다.

문제 정의

고객 지원과 같이 사실 관계에 민감한 도메인에 배치된 에이전틱 대규모 언어 모델(LLM)은 이중 제약에 직면합니다. 즉, 특정 엔티티(예: 주문 ID, 제품명, 고객 이름)에 관한 사실적 정확성을 엄격히 유지하면서도, 특정 스타일 레지스터(예: 공감적 또는 격식 있는 말투)로 응답을 생성해야 합니다.

기존 방식들은 다음과 같은 트레이드오프 없이 두 가지 제약을 동시에 해결하는 데 실패합니다:

• 미세 조정(Fine-tuning): 스타일을 가중치에 내재시키지만, 매번 스타일과 모델마다 재학습이 필요합니다.
• 검색 증강 생성(RAG): 컨텍스트를 제공하지만, 모델이 중요한 엔티티를 바꾸거나 누락시킬 가능성을 남겨둡니다.
• 활성화 스티어링(Activation Steering): 은닉 상태를 섭동(perturbing)하여 미세 조정 없이 스타일을 제어할 수 있게 해주지만, 사실적 토큰과 스타일적 토큰을 구분하는 메커즘이 부족합니다. 이는 **의미론적 누출(semantic leakage)**로 이어져, 스티어링 벡터가 의도치 않게 사실적 엔티티를 변경하거나 대체하거나, 스타일 마커가 엔티티 구간으로 부적절하게 전이되는 문제를 야기합니다.

핵심 과제는 모델의 가중치를 수정하거나 스티어링 벡터를 메시지별로 특화하지 않고도, 스타일 제어와 사실적 근거(factual grounding)를 분리하는 것입니다.

방법론: Defactualize-Steer-Rehydrate (DSR)

저자들은 타입형(typed), 중요도 가중치(salience-weighted) 지식 그래프(KG)와 활성화 스티어링을 통합하는 7단계의 학습 불필요(training-free) 신경-기호(neuro-symbolic) 프레임워크인 DSR을 제안합니다. 파이프라인은 다음과 같이 작동합니다:

1. 지식 추출 및 KG 구축:

   • 입력 메시지는 레이어드 파이프라인(정규 표현식, NER, 어휘 분류기)을 통해 처리되어 엔티티와 속성(고객 이름, 주문 ID, 제품, 이슈, 긴급도, 감정)을 추출합니다.
   • 방향성이 있는 타입형 지식 그래프 $G=(V, E)$가 구축됩니다. 노드에는 추출 신뢰도 및 상호 검증(예: 메타데이터 일치 여부)에 기반한 중요도 점수(sal $\in [0, 1]$)가 할당됩니다.
   • 엣지 가중치는 곱셈 방식($w(u,v) = sal(u) \cdot sal(v)$)으로 정의되어, 낮은 신뢰도의 엔드포인트가 엣지의 신뢰도를 억제하도록 보장합니다.

2. 탈사실화 (Defactualization, 스티어링 전 단계):

   • 활성화 스티어링이 수행되기 전, 모든 추출된 엔티티 값을 타입형 플레이스홀더(예: <ORDER_ID>, <PRODUCT>)로 교체하여 텍스트를 재작성합니다.
   • 이를 통해 사실적 스키마가 마스킹된 "탈사실화된" 프롬프트가 생성되며, 이는 스티어링 벡터를 추정하는 데 사용되는 대조 쌍(contrastive pairs)에 특정 엔티티 노이즈가 포함되지 않도록 보장합니다.

3. 대조적 스티어링 벡터 구축:

   • 특정 스타일(예: 공감적 vs 격식 있는)을 위한 스티어링 벡터($v_s$)는 대조적 프롬프트 쌍의 풀링된 활성화 차이에 대한 **주성분 분석(PCA)**을 사용하여 추정됩니다.
   • 결정적으로, 이 벡터들은 오직 플레이스홀더 어휘 집합 위에서만 추정되므로, 그 방향이 특정 콘텐츠가 아닌 순수한 스타일을 나타내도록 보장합니다.

4. 스티어링된 생성 (Steered Generation):

   • 탈사실화된 프롬프트가 동결된(frozen) LLM에 입력됩니다.
   • 선택된 트랜스포머 레이어 $L$에서 은닉 상태는 가산적으로 섭동됩니다: $h'_L(t) = h_L(t) + \alpha v_s$.
   • 모델은 목표 스타일로 응답을 생성하지만, 출력에는 실제 사실 대신 플레이스홀더가 포함됩니다.

5. 재수화 및 검증 (Rehydration & Verification, 생성 후 단계):

   • 생성된 출력은 원래의 KG에서 가장 높은 중요도를 가진 검증된 값들로 결정론적으로 "재수화(rehydrated)"됩니다.
   • 이 단계는 생성 과정이 아닌 기호적 조회(symbolic lookup)이며, 복원 과정에서 새로운 환각이 도입되지 않도록 보장합니다.
   • 잘못된 형식의 출력(예: 잘린 플레이스홀더)을 위한 폴백(fallback) 메커니즘이 존재하지만, 평가 과정에서 관찰되지는 않았습니다.

주요 기여

1. 데이터 엔지니어링 파이프라인: 정규 표현식, NER, 분류기를 사용하여 비정형 지원 메시지로부터 타입형, 중요도 점수가 부여된 KG를 구축하는 학습 불필요한 레이어드 추출 프레임워크를 제공합니다.
2. DSR 아키텍처: 사실적 제어(KG 마스킹/재수화를 통해)와 스타일 제어(활성화 스티어링을 통해)의 구조적 분리를 실현합니다. KG는 게이트 역할을 하여 스티어링 연산자가 마스킹되지 않은 엔티티 값에 노출되지 않도록 보장합니다.
3. 진단 도구 세트: 스타일과 사실 사이의 상호작용을 평가하기 위한 세 가지 지표를 도입했습니다:
   • 스티어링 활성화 충실도 (Steering Activation Fidelity, SAF): 은닉 상태가 의도한 스타일 방향과 얼마나 잘 일치하는지 측정합니다.
   • 환각 심각도 지수 (Hallucination Severity Index, HSI): 엔티티 수준의 누출(입력에 없는 엔티티가 출력에 나타나는 현상)을 측정합니다.
   • 톤 일관성 지수 (Tone Consistency Index, TCI): 반대되는 스타일 대비 요청된 스타일과의 정렬도를 측정합니다.
4. 포괄적 평가: 6개의 LLaMA 계열 모델(1B–13B 파라미터)과 1,200개의 생성 사례를 대상으로 한 광범 pav한 연구를 수행하였으며, 여기에는 전용 KG 절제 연구(ablation study)가 포함됩니다.

실험 결과

• 엔티티 회복: KG 게이티드 DSR 파이프라인은 스티어링 전용 베이스라인에 비해 검증된 엔티티 회복 성능을 유의미하게 향상시켰습니다 (Cohen's $d = 0.225$, $p_{Bonf} = 1.0 \times 10^{-4}$). 그러나 저자들은 절대적인 회복률이 여전히 완만하다는 점을 언급하며, 이 방법이 개선은 하지만 완전한 사실적 근거를 보장하지는 못함을 명시했습니다.
• 스타일 보존: 모든 스타일 충실도 지표(공감도, 격식, 가독성, 어휘 다양성)는 DSR과 스티어링 전용 베이스라인 간에 통계적으로 변화가 없었습니다. 이는 KG 레이어가 스타일 제어를 저해하지 않음을 확인시켜 줍니다.
• 플레이스홀더 무결성: 1,200개의 생성 사례와 6개 모델 전체에서 **플레이스홀더 누출은 정확히 제로(0)**였습니다. 재수화 연산자는 검증된 값을 성공적으로 복원하거나 플레이스홀더를 제거하여 잔여 토큰을 남기지 않았습니다.
• 모델 독립성: KG의 구조적 통계(노드 수, 밀도, 평균 중요도)는 6개의 호스트 모델 모두에서 거의 불변이었으며, 이는 지식 레이어가 모델의 속성이 아니라 추출 파이프라인의 속성임을 확인해 줍니다.
• 스케일링 효과: 파라미터 수(1B–13B)에 따른 스타일 충실도나 사실적 근거의 단조로운 스케일링은 관찰되지 않았습니다. 입력 조건(시나리오 유형)이 모델 정체성보다 사실적 근거의 분산을 더 많이 설명했습니다.
• 레이어 민감도: 진단 결과, 일부 모델에서는 스티어링 강도($\alpha$)와 톤 일관성 사이에 비단조적(non-monotonic) 관계가 나타났으며, 환각 심각도는 빠르게 포화되었습니다. 이는 환각 진단이 스티어링 강도에 대해 둔감해지는 작동 영역이 존재함을 시사합니다.

의의 및 주장

본 논문은 명시적 지식 엔지니어링이 모델 미세 조정 없이도 생성형 AI의 신뢰성, 제어 가능성 및 재현성을 체계적으로 향상시킬 수 있다고 주장합니다.

• 체계적 향상: 사실적 근거를 통계적 학습 문제가 아닌 구조적 제약(마스킹 및 재수화)으로 다룸으로써, DSR은 의미론적 누출을 완화합니다.
• 상호 보완성: 본 프레임워크는 검색 증강 방법과 상호 보완되도록 설계되었습니다. 즉, 입력에 이미 존재하는 사실은 보존하지만 외부 지식을 도입하지는 않습니다.
• 투명성: 타입형 KG와 결정론적 재수화를 사용하는 것은 감사 가능한 의사결정 경로를 제공하며, 이는 신경-기호 통합 패러다임과 일치합니다.

저자들은 DSR이 베이스라인에 비해 엔티티 보존을 유의미하게 개선함에도 불구하고, 엔티티 근거 문제를 완전히 해결하지는 못하며 그 효과 크기가 제한적이라는 점을 인정하며 신중한 입장을 유지하고 있습니다. 이 연구는 사실적 제약과 스타일 제약을 표현 수준에서 분리하는 것이 더 신뢰할 수 있는 에이전틱 AI를 향한 실행 가능한 경로임을 입증하는 개념 증명(proof-of-concept) 역할을 합니다.