기술 요약: LLM 대화 기반의 연속성: 선형 시간 런타임 검증기

문제 정의

멀티턴 대화에 배포된 대규모 언어 모델(LLM) 은 종종 국소적으로 유창하고 실용적으로 그럴듯하지만, 대화의 확립된 역사에 기반하지 않은(ungrounded) 연속성을 생성합니다. 이러한 출력물은 이미 대화에서 포기하거나 수정한 전제, 관찰, 또는 가설에 기반할 수 있습니다. 이 "기반 격차"는 경험적으로 심각합니다: 연구에 따르면 LLM 은 후속 턴이 이를 모순하더라도 잘못된 가정을 수정하지 못하여, 단일 턴 상호작용에 비해 멀티턴 설정에서 성능이 크게 저하됩니다. furthermore, 이 격차는 컨텍스트 조작 공격에서 적극적으로 악용되는데, 여기서 에이전트들은 이전의 약속과 단절되었지만 국소적으로 일관된 연속성을 생성하여 무단 행위를 유발할 수 있습니다.

기존 솔루션인 검색 증강 생성(RAG) 은 외부 기반 (주장된 내용을 인용된 문서로 추적) 을 다루지만, 상호작용적 기반 (주장된 내용을 대화의 자체 진화하는 약속으로 추적) 에서는 실패합니다. 대화 기억 시스템은 일반적으로 무엇이 말해졌는지 추적하지만, 진술과そこから 도출된 결론을 연결하는 구조적 의존성 맵은 부족합니다.

방법론

저자들은 대화 전반에 걸쳐 주장의 출처를 추적하기 위해 명시적인 의존성 그래프를 유지하는 런타임 검증기를 제안합니다. 이 시스템은 LLM 인터프리터와 기호 엔진으로 구성된 하이브리드 아키텍처를 통해 작동합니다.

1. 형식적 기초

검증기는 네 가지 형식주의에 기반합니다:

• 동적 인식 논리 (DEL): 에이전트가 무엇을 알고, 믿으며, 인지하는지 모델링합니다.
• 귀납적 추론: 놀라운 관찰을 설명하기 위한 가설을 생성합니다.
• 인지 논리: 에이전트의 인지 집합 확장을 추적합니다.
• 논증 프레임워크: 논증 간의 공격과 지지를 모델링합니다 ( Dung 스타일).

이러한 요소들은 의존성 구조 $D_t = (M_t, AF_t, Cmt_t, Dep_t)$로 통합되며, 여기서:

• $M_t$: 인식적 타당성 모델 (지식/신뢰 상태).
• $AF_t$: 논증 프레임워크 (논증 및 공격 관계).
• $Cmt_t$: 에이전트의 공개적 약속.
• $Dep_t$: 논증을 이를 지지하는 명제와 연결하는 맵.

2. 8 가지 연산 분류

LLM 인터프리터는 각 발화를 8 가지 업데이트 연산 중 하나로 분류하며, 기호 엔진은 이를 적용하여 의존성 구조를 업데이트합니다:

1. OBSERVE (관찰): 사실 추가 (강력한 공개 발표).
2. HYPOTHESIZE (가설 설정): 설명적 가설 도입 (소프트 사전적 업그레이드).
3. SUPPORT (지지): 증거에 기반하여 주장의 타당성을 높임.
4. UNDERMINE (약화): 모순적 증거 등을 통해 주장의 타당성을 낮춤.
5. REVISE (수정): 주장 포기 (강력한 철회 또는 공격 간선 추가).
6. EXPAND-AWARENESS (인지 확장): 에이전트의 인지 집합에 새로운 명제를 추가.
7. RESOLVE (해결): 결론에 대한 합의적 또는 권위적 약속.
8. QUESTION (질문): 설명되지 않은 관찰을 귀납적 문제로 표시.

3. 검증 및 철회

• 기반된 연속성 확인: 후보 연속성 $c$가 기반을 갖는지 검증하기 위해, 시스템은 현재 논증 프레임워크 내에서 $claim(\alpha_c) = \phi_c$ (연속성 $c$가 주장하는 명제) 인 논증 $\alpha_c$가 존재하는지 확인합니다. 이는 의존성 맵에서의 그래프 탐색으로 환원됩니다.
• 선택적 철회: 전제 $p$가 철회되면, 시스템은 기반을 잃는 결론 집합인 $Affected(p)$를 계산합니다. 이는$p \in Dep(\alpha)$인 모든 논증$\alpha$를 찾아 의존성 맵을 탐색함으로써 계산됩니다.
• 복잡도: 턴당 검증 및 철회 전파는 엔진 표현 크기에 대해 선형 ($O(|Args| + |Att|)$) 이며, 역사 재생 방법에서 전형적인 대화 길이와의 선형적 성장을 피합니다.

주요 기여

1. 상호작용적 기반을 위한 런타임 검증기: 유지된 의존성 구조를 통해 각 턴마다 후보 연속성이 이전 약속으로 거슬러 올라가는지 확인하는 시스템으로, 엔진 상태 크기에 비례하는 선형 시간으로 작동합니다.
2. 조립 가능한 형식적 기반: DEL, 논증, 인지 논리를 통합한 통일된 프레임워크로, 선택적 철회에 대한 정합성 보장(명제 2.1) 을 제공합니다. 시스템은 전제가 철회될 때 영향을 받는 결론 집합이 모순 없고 잘 정의되도록 보장합니다.
3. 정합성 - 충실도 분해: 저자들은 문제를 정합적 구조 검증(증명적으로 올바른 엔진의 논리) 과 추출 충실도(LLM 이 연산을 올바르게 분류하고 의존성을 추출하는 능력) 로 분리합니다. 이를 통해 실패가 발생하는 위치를 정밀하게 측정할 수 있습니다.
4. 경험적 검증: 시스템은 통제된 다중 에이전트 시나리오와 외부 벤치마크에서 평가되었으며, 기저 모델이 실패하는 곳에서 낡은 전제를 감지하고 환각을 자제하는 능력을 입증했습니다.

결과

통제된 시나리오 (2 단계 및 3 단계)

• 낡은 전제 감지: "낡은 전제" 사례 중 15 개 항목 부분집합 (어떤 주장이 이전에 철회된 전제에 의존하는 경우) 에서 검증기는 100% 정확도를 달성했으며, LLM 전용 기저 모델은 **93.3%**였습니다. 검증기는 포기된 가설에 의존하는 추천이 기반이 없음을 올바르게 식별한 반면, 기저 모델은 이를 그럴듯하게 처리했습니다.
• 철회 지연: 해결되거나 포기된 가설이 은퇴하는 경계 영역에서, 검증기의 지연은 대화 길이가 증가함에 따라 평탄화되는 반면, 역사 재생 기저 모델은 선형적으로 증가합니다. 2,000 턴에서 검증기는 전체 대화록을 다시 읽는 것보다 84 배 빠릅니다.

외부 벤치마크

• LongMemEval-KU (오라클): 대체를 통한 지식 업데이트를 테스트하는 78 개 항목에서 검증기 (콘텐츠 및 검색 포함) 는 89.7% 정확도에 도달하여 LLM 전용 기저 모델 (88.5%) 과 대화록-RAG 기저 모델 (87.2%) 을 능가했습니다. 승리는 기저 모델이 지지 정보가 없는 항목에서 환각을 일으켰던 반면, 검증기는 올바르게 자제했던 사례에 집중되었습니다.
• LoCoMo: 60 개 공식 QA 항목에서 검증기는 검색 증강 기저 모델과 경쟁력이 있었으며, 이는 순수 엔티티 - 관계 회상보다는 상호작용적 기반에 초점을 맞춘 것과 일치합니다.

견고성 및 추출

• 분류 정확도: "정의" 및 "상태 증강" 프롬프트를 사용하여 LLM 인터프리터는 높은 F1 점수를 달성했습니다 (예: 2 단계에서 Claude Sonnet 4 의 경우 0.91).
• 병목 분석: 주요 한계는 구조적 검증 자체가 아니라 추출 충실도(LLM 이 자연어를 형식적 연산으로 올바르게 매핑하는 능력) 입니다. 구체적으로, 새로운 가설이 기존 가설을 포괄하는 경우와 같은 가설 간 의존성 간선을 복구하는 것은 RESOLVE 연산에서 특정 스키마 수정이 필요했으며, 이는 프롬프트 엔지니어링만으로는 달성할 수 없었습니다.

중요성 및 주장

이 논문은 배포된 LLM 에이전트의 치명적인 취약점을 해결하는 에이전트의 연속성을 실제 상호작용 역사와 구조적으로 결합하는 최초의 런타임 메커니즘을 제공한다고 주장합니다.

• 보안: 현재 의존성 그래프에 의해 지원되는 경우에만 행위가 수행되도록 함으로써 컨텍스트 조작 공격에 대한 방어를 제공합니다.
• 신뢰성: 올바른 자제를 가능하게 합니다. 연속성이 지지를 받지 못할 때, 시스템은 그럴듯한 변명을 환각하는 대신 이를 "기반 없음"으로 표시합니다.
• 효율성: 기호 의존성 그래프를 유지함으로써 선형 시간 검증 및 철회 전파를 달성하여, 역사를 다시 읽는 것이 계산적으로 불가능한 장기 대화에서도 확장 가능합니다.
• 형식적 보장: 시스템은 선택적 철회에 대한 모순 없는 보장을 제공하여, 전제가 철회된 후에도 대화 상태가 논리적으로 일관되게 유지되도록 합니다.

저자들은 시스템의 효과가 자연어에서 형식적 구조를 충실히 추출하는 LLM 의 능력에 의해 제한되며, 현재 구현은 외부 사실 검색보다는 상호작용적 기반에 초점을 맞추고 있음을 겸손하게 언급합니다 (다만 프레임워크는 후자로 확장 가능합니다).