💬 NLP

Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing

이 논문은 비구조적 지식 편집의 결합성을 향상시키기 위해, 모델의 특권적인 인컨텍스트 상태(in-context state)로부터 지식을 선제적으로 증류하고 누락된 사실을 롤아웃 궤적에 전략적으로 주입함으로써 수동적인 온폴리시(on-policy) 학습의 한계를 극복하는 방법론인 하이브리드 정책 셀프 에디팅(Hybrid-Policy Self-Editing, HPSE)을 소개한다.

원저자: Tianci Liu, Zihan Dong, Tianchun Li, Yi-Chung Chen, Qiming Cao, Xingchen Wang, Shiyang Wang, Zichen Miao, Linjun Zhang, Haoyu Wang, Jing Gao

게시일 2026-08-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianci Liu, Zihan Dong, Tianchun Li, Yi-Chung Chen, Qiming Cao, Xingchen Wang, Shiyang Wang, Zichen Miao, Linjun Zhang, Haoyu Wang, Jing Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거의 모든 책을 읽은 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이 로봇은 대화하기, 이야기 쓰기, 퍼즐 풀기에 매우 능숙합니다. 하지만 한 가지 문제가 있습니다. 이 로봇은 타임캡슐과 같습니다. 과거에 인쇄된 책들을 통해 모든 것을 배웠기 때문에, 만약 어제 일어난 큰 사건, 예를 들어 새로운 영화 스타의 결혼이나 회사의 사명 변경 같은 일이 있다면 로봇은 전혀 알지 못합니다. 로봇은 과거에 갇혀 있는 것입니다.

이를 해결하기 위해 과학자들은 로봇에게 '지식 편집(knowledge editing)'을 가르치려고 노력해 왔습니다. 이것은 로봇에게 빠른 업데이트, 즉 정신적 패치 노트를 제공하는 것과 같습니다. 로봇이 자신의 전체 도서관을 다시 읽지 않고도(그것은 영원히 걸릴 것이고 엄청난 비용이 들 것입니다) 새로운 사실을 배울 수 있게 하는 것이죠. 보통 이 방법은 "프랑스의 수도는 파리이다"와 같은 단순한 사실에는 잘 작동합니다. 하지만 만약 새로운 정보가 복잡하다면 어떨까요? 만약 당신이 새로운 CEO, 새로운 본사, 그리고 새로운 주가를 동시에 언급하는 기업 합병에 관한 뉴스 기사 전체를 로봇에게 준다면 어떨까요? 이것을 '비구조적 지식 편집(unstructured knowledge editing)'이라고 부릅니다.

큰 문제는 과학자들이 발견한 바에 따르면, 로봇이 그 기사를 암기할 수는 있지만 실제로 사용하지는 못한다는 점입니다. 이는 마치 전화번호부는 외웠지만 번호를 누를 줄 모르거나, 레시피는 외웠지만 요리를 할 줄 모르는 것과 같습니다. 로봇은 특정 질문을 받았을 때 기사 전체를 반복해서 말하거나, 기사에 담긴 두 가지 서로 다른 사실을 결합해야 하는 질문을 받았을 때 점들을 연결하지 못하고 막혀버립니다. 정보를 가지고는 있지만, 그것을 유연하게 사용할 수 있는 상식이 부족한 로로봇인 셈입니다.

이 논문은 이를 해결하기 위해 HPSE(Hybrid-Policy Self-Editing)라는 영리한 새로운 방법을 소개합니다. 연구진은 로봇이 이러한 업데이트를 배우는 일반적인 방식이 너무 수동적이라는 것을 발견했습니다. 이는 마치 교과서를 읽고 나서 선생님이 무엇을 물어볼지 추측하려고 노력하는 학생과 같습니다. 만약 학생의 추측이 틀리면, 학생은 길을 잃고 맙니다. 저자들은 더 나은 방법을 제안합니다. 바로 더 똑똑한 버전의 자신(방금 새 기사를 읽은 상태의 자신)이 개입하여 실시간으로 실수를 바로잡는 대화를 시뮬레이션함으로써 로봇이 스스로를 "가르치게" 하는 것입니다.

작동 방식은 이렇습니다: 로봇이 새 기사를 바탕으로 질문에 답하려고 한다고 상상해 보세요. 로봇이 답변을 쓰기 시작하지만, 주제에서 벗어나거나 새로운 사실을 잊어버리기 시작합니다. 바로 그때, 기사를 들고 있는 '똑똑한 버전'의 로봇이 학생의 어깨를 가볍게 두드리며 말합니다. "잠깐, 거기서 멈춰! 너 지금 틀린 말을 하려고 하고 있어. 여기 네가 필요한 정확한 사실이 있어." 그러면 학생 로봇은 그 교정을 통해 배웁니다.

HPSE의 마법은 로봇이 맹목적으로 추측하게 두는 것이 아니라, 로봇이 정말 길을 잃었을 때만 개입하며, 정확한 정보와 함께 개입한다는 점에 있습니다. 이는 로봇이 단순히 기사를 암기하는 것을 넘어, 정보를 작은 사용 가능한 사실들로 분해(decomposition)하고, 복잡한 퍼즐을 풀기 위해 이 사실들을 결합(composition)하는 법을 배우도록 돕습니다.

연구진은 여러 가지 서로 다른 로봇의 뇌(대규모 언어 모델)를 대상으로 테스트를 진행했으며, HPSE가 엄청난 차이를 만든다는 것을 발견했습니다. 로봇은 새로운 사실에 대한 구체적인 질문에 훨씬 더 잘 답하게 되었고, 더 어려운 질문을 해결하기 위해 사실들을 사슬처럼 엮는 능력도 훨씬 좋아졌습니다. 또한, 이 방법이 범용 어댑터처럼 작동하여, 기존의 편집 도구들을 어떻게 만들어졌는지 변경할 필요 없이 그것들이 더 잘 작동하도록 연결할 수 있다는 점도 발견했습니다. 요컨대, HPSE는 뉴스를 그저 암기하기만 하는 로봇을 뉴스를 실제로 이해하고 사용하는 로봇으로 변화시킵니다.

기술 요약: 결합 가능한 비정형 지식 편집을 위한 하이브리드 정책 자기 편집 (Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing)

1. 문제 정의

대규모 언어 모델(LLM)은 정적인 코퍼스에 의존하며, 이로 인해 빠르게 변화하는 환경에서 지식이 구식화되는 문제를 겪는다. 지식 편집(Knowledge Editing, KE)은 전체 재학습 없이 특정 사실을 업데이트하는 것을 목표로 하지만, 기존 방식들은 구조화된 트리플(triples)에서 **비정형 지식 편집(Unstructured Knowledge Editing, UKE)**으로 전환될 때 어려움을 겪는다. UKE에서 새로운 지식은 여러 개의 얽힌 사실들을 포함하는 자유 형식의 구절(예: 인수 발표문) 형태로 제공된다.

본 논문은 현재의 UKE 방법론이 겪는 핵심적인 실패 모드로 결합성(composability)의 결여를 지적한다. 모델이 편집된 구절을 성공적으로 암기하더라도, 다음과 같은 작업에는 실패한다:

분해(Decompose): 단순히 텍스트 전체를 그대로 읊는 것이 아니라, 구절 내 개별 사실들에 대한 원자적 질문(atomic questions)을 추출하고 답하는 능력.
결합(Compose): 주입된 여러 사실을 결합하여 다단계 추론(multi-hop reasoning)을 수행하는 능력.

저자들은 이러한 실패의 원인을 기존 에디터들이 고정된 편집 구절만을 유일한 학습 소스로 삼는 수동적 의존성(passive reliance) 때문이라고 분석한다. 이는 심각한 과적합과 문맥 의존성을 유발하여, 모델이 본 적 없는 쿼리 구조에 대해 새로운 지식을 일반화하는 것을 방해한다. 또한, 특권 있는 인컨텍스트 상태(privileged in-context state)의 가이드를 따라 모델 자신의 생성 궤적(trajectory)으로부터 학습하는 표준 온-정책 자기 증류(On-Policy Self-Distillation, OPSD) 방식은 UKE에서 실패한다. 왜냐하면 특권 있는 모델이 교정적 감독을 제공하기 전에, 모델 자신의 롤아웃(rollout)이 이미 새로운 사실에서 벗어나는 "커버리지 실패(coverage failure)"가 발생하기 때문이다.

2. 방법론: 하이브리드 정책 자기 편집 (HPSE)

커버리지 실패를 해결하고 결합성을 개선하기 위해, 저자들은 특정 파라미터 업데이트 메커니즘을 가정하지 않고 그래디언트 기반 KE 에디터의 학습 신호를 수정하는 플러그 앤 플레이 방식의 데이터 중심 접근법인 HPSE를 제안한다.

핵심 메커니즘

HPSE는 편집을 동일한 모델(새로운 구절 $c$ 를 읽고 있는 베이스 모델 $\pi_0$ )의 **특권 있는 인컨텍스트 상태( $\pi^\star$ )**로부터의 능동적인 자기 증류로 재정의한다. 순수 OPSD가 학생 모델( $\pi_\theta$ ) 자신의 롤아웃에만 의존하는 것과 달리, HPSE는 학생과 특권 있는 교사 사이를 동적으로 전환하는 **하이브리드 롤아웃( $\pi_\rho$ )**을 구축한다.

하이브리드 롤아웃 프로세스:
각 생성 단계 $t$ 에서, 주어진 접두사(prefix) $y_{<t}$ 가 주어졌을 때, 다음 토큰 $y_t$ 는 $\pi_\rho$ 로부터 샘플링된다:

학생 토큰(Student Token): 두 정책이 일치하거나 학생이 확신을 가질 경우 $\pi_\theta$ (편집된 모델)에서 샘플링된다.
특권 개입(Privileged Step-in): "스텝인(step-in)" 조건이 트리거되면 $\pi^\star$ 에서 샘플링된다.

스텝인 조건:
특권 모델은 다음의 경우에 개입한다:

차이 조건(Gap Condition): 특권 모델의 그리디 토큰( $y^\star_t$ )에 대한 로그 확률 차이가 임계값 $\tau$ 를 초과할 때: $\log \pi^\star(y^\star_t) - \log \pi_\theta(y^\star_t) > \tau$ .
확신 조건(Confidence Condition): 특권 모델이 예측에 확신을 가질 때: $\pi^\star(y^\star_t) > \kappa$ .

이 메커니즘은 학생의 궤적이 새로운 사실에서 벗어날 때(off-topic), 커버리지가 실패하는 정확한 지점에서 특권 모델이 개입하여 누락된 사실을 학생의 궤적 위에 배치하도록 보장한다.

목적 함수

HPSE 손실 함수는 하이브리드 증류 항과 표준 부정 로그 가능도(Negative Log-Likelihood, NLL) 앵커를 결합한다:
$J_{HPSE}(\theta) = \mathbb{E}_{y \sim \pi_\rho} \left[ \sum_{t} D_{KL}(\pi^\star(\cdot|x, y_{<t}) \parallel \pi_\theta(\cdot|x, y_{<t})) \right] - \lambda \log \pi_\theta(c|x)$

하이브리드 항은 (스텝인 메커니즘을 통해) 학생의 자체 궤적을 따라 새로운 사실을 감독한다.
**NLL 앵커( $\lambda J_{NLL}$ )**는 구절 자체의 접두사 아래에서 지식을 고착시키기 위해 표준 구절 수준의 가능도를 보존한다.

이론적 이점

저자들은 사실 구간(fact span)의 길이가 $\ell$ 일 때, 하이브리드 롤아웃은 모든 사실 접두사를 확률 1로 방문하는 반면, 순수 OPSD 롤아웃은 깊은 접두사를 방문할 확률이 지수적으로 감소( $e^{-\tau j}$ )한다는 이론적 분석을 제공한다. 결과적으로 HPSE의 감독 신호는 사실 구간 길이에 따라 선형적으로 스케일링( $\Omega(\ell)$ )되는 반면, OPSD의 신호는 일정하게 유지( $O(1)$ )된다. 이러한 이점은 주입된 지식이 더 복잡하고 길어질수록 더욱 커진다.

3. 주요 기여

문제 공식화: 본 논문은 편집 프롬프트가 특정 사실을 지정하지 않는(예: "X를 소개하라") **비대상적 영역(untargeted regime)**에서의 UKE를 도입한다. 또한, 실용적인 UKE를 위한 통합된 요구사항으로서 결합성(분해 및 결합)을 정의하고, 기존 방법들이 이 요구사항을 충족하지 못함을 입증한다.
방법론 제안 (HPSE): HPSE는 하이브리드 롤아웃 전략을 사용하여 UKE에서 온-정책 증류의 커버리지 실패를 해결하는 최초의 방법이다. 이는 플러그 앤 플레이 방식으로, 외부 데이터나 보조 모델, 특정 파라미터화가 필요하지 않아 다양한 그래디언트 기반 에디터(예: LoRA, FT-M)와 호환된다.
이론적 정당화: 본 논문은 HPSE가 순수 온-정책 증류에 비해 사실 지향적(fact-directed) 감독 이점을 제공하며, 그 신호 강도가 주입된 지식의 길이에 따라 선형적으로 증가함을 증명하는 공식적인 분석을 제공한다.
실험적 검증: 네 가지 LLM 백본(Qwen2.5, Qwen3, Llama-3.1, Gemma-2)과 두 가지 KE 에디터(FT-M, LoRA)에 대한 광범에한 실험을 통해 단일 및 지속적 편집 설정 모두에서 분해 및 결합 지표의 일관된 향상을 보여준다.

4. 실험 결과

저자들은 결합성을 위해 조정된 두 가지 벤치마크인 UnKEBench(분해)와 MQuAKE-uns(결합)에서 HPSE를 평가했다.

단일 편집(Single Editing): HPSE는 FT-M과 LoRA 모두의 성능을 크게 향상시켰다. 예를 들어, Qwen2.5에서 HPSE는 LoRA의 결합 점수(Cmp.)를 +21.2%, 분해 점수(Dmp.)를 +25.6% 높였다. 특히 베이스라인들이 환각을 일으키거나 이전 지식으로 회귀하는 경향이 있는 다단계 추론 작업에서 HPSE는 MEMIT, AlphaEdit, AnyEdit, UnKE와 같은 베이스라인들을 일관되게 압도했다.
지속적 편집(Continual Editing): 순차적 편집( $T=10$ 에서 $100$) 설정에서 HPSE는 견고함을 유지했다. MQuAKE-uns에서 LoRA와 HPSE 조합은 다양한 시퀀스 길이에 걸쳐 베이스 버전 대비 평균 점수를 +55%에서 +149%까지 개선했으며, 종종 성능을 두 배로 높였다.
절제 연구(Ablation Studies): 하이브리드 롤아웃을 제거했을 때("w/o HP") 성능이 베이스 에디터보다 낮은 수준으로 떨어졌으며, 이는 스텝인 메커니즘의 필요성을 확인시켜 준다. NLL 앵커를 제거했을 때("w/o NLL") 공동 회상(joint recall)이 저하되었으며, 이는 앵커의 고착 역할을 보여준다.
사례 연구(Case Studies): 시각적 예시는 베이스라인들이 흔히 구절을 그대로 반복하거나 환각을 일으키는 반면, HPSE는 원자적 질문에 직접 답하고 다단계 추론을 위해 여러 사실을 성공적으로 연결함을 보여준다.

5. 의의 및 주장

본 논문은 결합성이 실용적인 비정형 지식 편집(UKE)을 위해 이전에 간과되었던 중요한 요구사항이라고 주장한다. 지식의 수동적 주입은 유용성 없는 단순 암기로 이어진다고 강조한다.

HPSE의 의의는 편집을 수동적인 데이터 피팅 작업에서 능동적인 자기 교정 과정으로 전환할 수 있다는 점에 있다. 하이브리드 롤아웃을 통해 선제적으로 학습 신호를 구축함으로써, HPSE는 LLM이 새로운 지식을 분해 가능하며(유연하게 추출 가능) 결합 가능한(추론 가능) 방식으로 내재화할 수 있도록 한다. 저자들은 HPSE가 외부 데이터셋이나 강력한 교사 모델을 필요로 하지 않는 "자기 완결적이고 경제적인 경로"를 제공하며, 이를 통해 역동적인 실제 환경에서 LLM을 업데이트하는 일반화 가능한 솔루션이 될 수 있음을 강조한다.

결론적으로, HPSE는 현재 텍스트 기반 편집에 집중하고 있으나, 향-생애(lifelong) 및 멀티모달 편집으로 확장하는 것을 향후 과제로 제시한다.