🤖 machine learning

Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning

이 논문은 프롬프트 구성을 신뢰성, 일반성, 특수성을 동시에 최적화하는 제약 마르코프 결정 과정으로 정식화하여, 기존 방법들보다 LLM 지식 업데이트에서 우수한 성능을 달성하는 다목적 강화 학습 알고리즘인 다목적 인컨텍스트 지식 편집(Multi-Objective In-context Knowledge Editing, MO-IKE)을 제안한다.

원저자: Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

게시일 2026-08-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuzhong Wang, Maiqi Jiang, Tejal Nair, Girija Bhusal, Yanfu Zhang, Haipeng Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 이야기를 쓰고, 문제를 해결하며, 인간의 사고를 모방하는 유창함으로 질문에 답할 수 있는 차세대 인공지능의 엔진입니다. 그러나 이러한 시스템에는 근본적인 한계가 있습니다. 바로 지식이 시간에 따라 고정되어 있다는 점입니다. 모델이 초기 학습을 마치고 나면, 그 모델이 보유한 사실들은 정적인 상태가 됩니다. 만약 어떤 모델이 2026년 동계 올림픽 이전에 학습되었다면, 아무리 여러 번 물어보더라도 최종 메달 집계 결과를 알지 못할 것입니다. 이러한 지식을 업데이트하는 작업은 대개 막대한 비용이 드는 대규모 재학습 과정을 필요로 하며, 이는 대부분의 사용자에게 비현실적입니다. 이를 해결하기 위해 연구자들은 '인컨텍스트 지식 편집(in-context knowledge editing)'이라 불리는 기술을 개발했습니다. 모델의 내부 코드를 변경하는 대신, 이 방법은 대화 프롬프트에 일련의 예시들을 제공하여 해당 특정 상호작용 동안 모델에게 새로운 사실을 효과적으로 가르칩니다. 과제는 완벽한 예시 세트를 구성하는 데 있습니다. 즉, 새로운 사실을 모델이 받아들이도록 강제할 만큼 강력해야 하고, 질문이 다르게 표현되더라도 작동할 만큼 유연해야 하며, 모델이 이미 알고 있는 관련 없는 사실을 실수로 잊거나 변경하지 않도록 보장할 만큼 정밀해야 합니다.

한 연구팀은 이제 이러한 프롬프트를 구축하는 방식을 크게 개선한 MO-IKE라는 새로운 시스템을 선보였습니다. 이 과정을 자동화하려는 이전의 시도들은 컴퓨터 프로그램이 시행착오를 통해 학습하는 방식인 강화 학습에 의존했습니다. 이러한 초기 시스템들은 모델에게 새로운 사실을 성공적으로 가르칠 수는 있었지만, 종종 높은 대가를 치러야 했습니다. 새로운 사실이 수용되도록 서두르는 과정에서, 시스템은 모델의 기존 지식을 보호하는 데 필요한 예시들을 제거해 버리곤 했습니다. 이는 하나의 오류를 수정하면 다른 오류가 나타나는 취약한 균형을 만들어냈습니다. 새로운 접근 방식은 프롬프트 구성을 단순한 항목의 목록이 아니라 순차적인 의사 결정 과정으로 취급합니다. 시스템은 새로운 사실을 명시하는 예시를 추가할지, 질문을 재표현하는 예시를 추가할지, 혹은 변하지 말아야 할 사실을 강화하는 예시를 추가할지를 하나씩 선택하는 법을 배웁니다. 그리고 프롬프트가 완성되었다고 판단될 때 비로소 예시 추가를 멈춥니다.

연구진은 이 시스템을 다중 목적 보상 구조를 사용하여 학습시켰는데, 이는 컴퓨터가 새로운 사실을 정확히 맞히는 것, 질문의 다양한 방식에 대응하는 것, 그리고 관련 없는 사실을 안전하게 유지하는 것이라는 세 가지 영역에서 동시에 성공하도록 보상받는 것을 의미합니다. 이러한 경쟁적인 목표들을 균형 있게 조절함으로써, 새로운 방식은 시스템이 너무 공격적으로 업데이트하는 것을 방지합니다. 표준적인 사실 세트에서 테스트했을 때, 새로운 시스템은 편집 성공률을 87.1퍼센트에서 91.1퍼센트로 높였습니다. 더 중요한 것은, 관련 없는 지식의 보존율을 41.0퍼센트에서 63.4퍼센트로 대폭 향상시켜 기존 지식을 훨씬 더 잘 보존했다는 점입니다. 이는 모델이 새로운 것을 배우는 동안 변경할 필요가 없는 사실들을 "잊어버릴" 가능성이 훨씬 낮아졌음을 의미합니다. 또한 이 시스템은 매우 높은 적응성을 입증했는데, 특정 언어 모델에 대해 학습된 버전이 추가 학습 없이도 완전히 다른 모델에 적용되었을 때 동일하게 잘 작동했습니다.

이 연구는 예시들이 어떻게 조직되는지가 예시 그 자체만큼이나 중요하다는 것을 보여줍니다. 이전 방식들은 종종 고정된 템플릿을 사용하거나 단 한 가지 유형의 예시에만 집중하여 불균형한 프롬프트를 만들어냈습니다. 새로운 시스템은 다양한 유형의 예시를 동적으로 혼합하여 견고하고 특화된 맥락을 생성합니다. 30만 개 이상의 예시가 포함된 거대한 벤치마크를 포함하여 다섯 가지 서로 다른 고정 언어 모델과 네 가지 데이터 세트에 걸친 테스트에서, 이 방식은 기존 기술들을 지속적으로 능가했습니다. 연구진은 새로운 정보를 가르치는 것과 기존 정보를 보호하는 것 사이의 절충안을 신중하게 관리함으로써, 이전에는 도달할 수 없었던 신뢰성과 특수성을 달 achievement 할 수 있음을 발견했습니다. 이 연구는 인공지능을 업데이트하는 미래가 대규모 재학습이 아니라, 대화를 통해 모델을 안내하는 더 똑똑하고 균형 잡힌 방식에 있을 수 있음을 시사합니다.

기술 요약: 다목적 강화 학습을 통한 MO-IKE

문제 정의

대규모 언어 모델(LLM)은 사전 학습 이후에 구식이 되는 정적인 파라미터 지식에 의존합니다. **지식 편집(Knowledge Editing, KE)**이 전체 재학습 없이 특정 사실에 대한 모델의 행동을 업데이트하는 것을 목표로 하는 반면, **인컨텍스트 지식 편집(In-Context Knowledge Editing, IKE)**은 블랙박스 모델에도 적용 가능한 학습이 필요 없는(training-free) 대안으로 부상했습니다. IKE는 원하는 업데이트를 유도하기 위해 검색된 데몬스트레이션(demonstrations)을 구성하고 이를 연결하여 프롬프트를 구축합니다.

그러나 효과적인 IKE 프롬프트를 구성하는 것은 종종 상충하는 세 가지 목표 사이의 균형을 맞추는 작업을 포함합니다:

신뢰성(Reliability): 모델이 타겟 쿼리에 대해 새로운 사실을 성공적으로 출력해야 합니다.
일반성(Generality): 업데이트가 의미론적으로 동등한 쿼리(의역된 문장)에도 적용되어야 합니다.
특이성(Specificity): 관련 없는 인접 사실들을 변경 없이 그대로 유지해야 합니다.

DR-IKE와 같은 최근의 강화 학습(RL) 접근 방식은 신뢰성을 최적화하기 위해 데몬스트레이션을 동적으로 선택하려고 시도합니다. 그러나 본 논문은 이러한 최신 방법론들의 두 가지 결정적인 결함을 식별했습니다:

순차적 순서(Sequential Ordering)의 간과: 이들은 데몬스트레이션의 구성을 부차적인 문제로 취급하거나 특정 유형(예: RETAIN)의 순위만을 최적화하며, 데몬스트레이션 순서의 전역적 상호 의존성을 무시합니다.
목표 최적화의 불균형: 주로 편집 성공(신뢰성)을 최적화함으로써, 이러한 방법들은 인접 지식을 보호하는 RETAIN 데몬스트레이션을 의도치 않게 폐기합니다. 이는 검색기가 특이성을 보호하는 예시들을 필터링하여 **보존율(Retention Rate, 특이성)**의 붕괴를 초래하는 "보상 해킹(reward hacking)" 현상으로 이어집니다.

방법론: MO-IKE

저자들은 신뢰성, 일반성, 특이성을 공동으로 최적화하기 위해 프롬프트 구성을 **제약된 마르코프 결정 과정(Constrained Markov Decision Process, Constrained MDP)**으로 프레임워크화하는 알고리즘인 **MO-IKE (Multi-Objective In-context Knowledge Editing)**를 제안합니다.

1. 제약된 MDP로서의 공식화

검색 프로세스는 순차적 의사결정 문제 $(S, A, T, R, C)$ 로 모델링됩니다:

상태 (State, $S$ ): 현재 구성된 프롬프트 컨텍스트.
행동 (Action, $A$ ): RETAIN 후보의 순위를 매기는 것으로 행동 범위를 제한하는 DR-IKE와 달리, MO-IKE는 COPY(직접적인 재진술), UPDATE(의역된 쿼리), RETAIN(관련 없는 사실) 데몬스트레이션 선택 및 STOP 행동을 포함하도록 행동 공간을 확장합니다. 이를 통해 에이전트는 다양한 데몬스트레이션 유형의 최적의 전역적 순서와 비율을 학습할 수 있습니다.
보상 (Reward, $R$ ): 주요 보상은 모델이 새로운 사실을 출력하는지를 나타내는 **편집 성공(Edit Success, ES)**입니다.
비용 제약 (Cost Constraints, $C$ ): 특이성과 일반성을 강제하기 위해, 프레임워크는 **의역 일관성(Paraphrase Consistency, PC)**과 **보존율(Retention Rate, RR)**에 대한 비용 제약을 도입합니다. 이는 작업 성공의 논리적 역수로 정의됩니다 (즉, 원래의 사실을 유지하지 못하거나 의역된 문장에 일반화하지 못할 경우 비용이 발생함).

2. 다목적 보상 형성 (Multi-Objective Reward Shaping)

이 제약된 최적화 문제를 해결하기 위해, MO-IKE는 다목적 문제를 스칼라화하기 위해 **라그랑주 완화(Lagrangian relaxation)**를 사용합니다. 최종 보상 신호 $r(s, a)$ 는 다음과 같이 계산됩니다:
$r(s, a) = R(s, a) - \sum_{k \in \{PC, RR\}} \lambda_k C_k(s, a)$
여기서 $\lambda_k$ 는 학습되는 쌍대 변수(dual variables)가 아닌 고정된 하이퍼파라미터이며, 일반성과 특이성의 저하를 처벌합니다. 이러한 구조는 검색기가 신뢰성을 위해 특이성을 희생하는 것을 방지합니다.

3. 정책 최적화 (Policy Optimization)

학습 가능한 투영 행렬(projection matrices)을 갖춘 BERT 기반 인코더로 구현된 검색기는 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 학습됩니다.

샘플링: 각 편집 인스턴스에 대해, 정책은 $G$ 개의 프롬프트 궤적(trajectories) 그룹을 샘플링합니다.
평가: 동결된 타겟 LLM은 복합 보상을 계산하기 위해 이 궤적들을 평가합니다.
업데이트: 이점(advantages)은 그룹 평균에 대해 추정되며, 정책은 KL 발산을 통해 참조 정책으로부터의 이탈을 처벌하면서 클리핑된 대리 목적 함수(clipped surrogate objective)를 최대화하도록 업데이트됩니다.

주요 기여

결함 식별: 본 논문은 기존의 RL 기반 IKE 방법들(특히 DR-IKE)이 편집 성공과 지식 보존 사이의 트레이드오프를 조절하는 데 실패하며, 다양한 데몬스트레이션 유형의 순차적 순서의 중요성을 간과한다는 점을 강조합니다.
MO-IKE 알고리즘: 저자들은 프롬프트 구성을 제약된 MDP로 취급하는 다목적 RL 알고리즘을 도입합니다. 모든 데몬스트레이션 카테고리를 포함하도록 행동 공간을 확장하고 보상 형성을 통해 비용 제약을 적용함으로써, MO-IKE는 신뢰성, 일반성 및 특이성의 균형을 맞추는 안정적인 정책을 보장합니다.
아키텍처 개선: 이 방법은 정적인 템플릿으로 취급하거나 일부 하위 집합만을 최적화하는 대신, COPY, UPDATE, RETAIN 데몬스트레이션의 최적의 "전역적" 순서를 학습할 수 있는 동적 검색기를 도입합니다.

실험 결과

저자들은 Llama-3.2-3B, Mistral-7B 및 기타 모델들을 대상으로 COUNTERFACT, ZSRE, WIKI-COUNTERFACT, 그리고 대규모 UniEdit 벤치마크(311K 예시)에서 MO-IKE를 평가했습니다.

성능 향상: Llama-3.2-3B에서 MO-IKE는 DR-IKE 베이스라인 대비 **편집 성공(신뢰성)**을 85.0%에서 **92.0%**로, **보존율(특이성)**을 34.7%에서 **57.7%**로 향상시켰습니다. 전체 조화 평균 점수는 54.9에서 73.5로 증가했습니다.
특이성 보존: 결정적으로, MO-IKE는 DR-IKE에서 나타난 특이성 저하 현상을 역전시켰습니다. Mistral-7B의 경우, 베이스라인 대비 보존율을 +22.7% 개선하여, 보존 지표를 음수 -22.5에서 양수 +32.1로 전환했습니다.
제로샷 일반화: Llama-3.2에서 훈련된 검색기는 Mistral-7B에서도 효과적으로 일반화되었으며, 네이티브하게 훈련된 검색기와 유사한 성능을 유지했습니다.
절제 연구 (Ablation Studies):
- 보존 제약을 제거했을 때 특이성이 크게 떨어졌으며, 이는 다목적 공식화의 필요성을 확인시켜 주었습니다.
- 행동 공간을 (RETAIN만 포함하는 대신) 모든 데몬스트레이션 유형을 포함하도록 확장하는 것이 모든 지표에서 균형 잡힌 성능을 달하는 데 결정적임을 보여주었습니다.

의의 및 주장

본 논문은 MO-IKE가 인컨텍스트 지식 편집의 상충하는 목표들에 대한 원칙적인 솔루션을 제공한다고 주장합니다. 문제를 제약된 MDP로 프레임워크화하고 다목적 보상 형성을 활용함으로써, MO-IKE는 이전 RL 접근 방식의 "보상 해킹"을 피하는 "안정적인 정책"을 달 achieve 합니다.

저자들은 이 방식이 타겟 LLM에 대해서는 학습이 필요 없고(training-free), 블랙박스 모델에도 적용 가능함을 강조합니다. 또한 MO-IKE가 기존의 검색 전략보다 크게 개선되었음에도 불구하고, 절대적인 보존율은 인컨텍스트 러닝 방법론의 고유한 병목 현상(약 60% 수준에 머무름)으로 남아 있으며, 이는 그래디언트 프리(gradient-free) 접근 방식에 여전히 개선의 여지가 있음을 시사한다고 언급했습니다. 이 연구는 서로 다른 데몬스트레이션 유형의 비율과 순서를 조절하는 것이 신뢰할 수 있고, 일반화 가능하며, 특이적인 지식 편집을 위해 필수적임을 입증했습니다.