💬 NLP

Can Fine-Tuning Erase Your Edits? On the Fragile Coexistence of Knowledge Editing and Adaptation

이 논문은 후속 미세 조정이 일반적으로 지식 편집의 상당한 쇠퇴를 유발한다는 것을 입증하며, 편집된 레이어만을 미세 조정하는 것이 다운스트림 성능을 유지하면서 이러한 편집을 제거하는 효과적인 방법임을 밝힘으로써, 모델 적응 파이프라인이라는 더 넓은 맥락 내에서 지식 편집을 평가해야 할 결정적인 필요성을 강조한다.

원저자: Yinjie Cheng, Paul Youssef, Christin Seifert, Jörg Schlötterer, Zhixue Zhao

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yinjie Cheng, Paul Youssef, Christin Seifert, Jörg Schlötterer, Zhixue Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 질문: 수정을 덧칠할 수 있을까?

거대하고 믿을 수 없을 정도로 똑똑한 백과사전(대규모 언어 모델, LLM)이 있다고 상상해 보세요. 이 백과사전은 전문가 팀에 의해 작성되었습니다. 가끔 이 백과사전에는 실수가 있습니다. 예를 들어, 프랑스의 수도를 베를린이라고 적어 놓았을 수도 있습니다.

**지식 편집(Knowledge Editing, KE)**은 전문가를 파견하여 그 특정 실수를 바로잡는 것과 같습니다. 전문가는 해당 페이지를 찾아가서 "베를린"을 "파리"로 바꿉니다. 이 과정은 책 전체를 다시 쓰는 것 없이 빠르고, 저렴하며, 정밀하게 이루어집니다.

**미세 조정(Fine-Tuning, FT)**은 그 백과사전을 가져다가 "현대 미술" 같은 새로운 주제를 학습시키는 것과 같습니다. 모델이 회화와 조각에 대해 배울 수 있도록 수천 개의 새로운 기사를 입력하는 것이죠. 이것은 모델을 특정 작업에 유용하게 만들기 위한 표준적인 방법입니다.

문제점: 연구자들은 간단한 질문을 던졌습니다. 만약 우리가 실수를 고치고(KE), 그 후에 새로운 주제로 책을 훈련시킨다면(FT), 그 수정 사항이 살아남을까요? 아니면 새로운 훈련이 실수로 수정을 씻어내 버려 다시 "베를린"으로 되돌려 놓을까요?

주요 발견: 수정은 취약하다

이 논문의 주요 발견은 미세 조정이 종종 편집된 내용을 지워버린다는 것입니다.

모델의 지식을 점토로 만든 섬세한 조각품이라고 생각해 보세요.

지식 편집은 조각품에 아주 작고 구체적인 디테일을 추가하는 것과 같습니다 (예: 점토 위에 꽃을 그리는 것).
미세 조정은 새로운 목적에 맞게 형태를 바꾸기 위해 조각품 전체를 격렬하게 흔드는 것과 같습니다.

연구 결과, 조각품을 흔들면(미세 조정하면), 그 작은 꽃 그림(편집)은 떨어져 나가거나 번져버리는 경우가 많았습니다. 많은 경우, 모델은 원래의 틀린 답으로 돌아가거나, 더 나아가 이전에 없던 완전히 새로운 오답을 내놓기 시작합니다.

실험: 대규모 스트레스 테스트

연구자들은 단순히 추측하지 않고 대규모 실험을 수행했습니다.

5가지 서로 다른 모델(백과사전)을 사용했습니다.
3가지 서로 다른 편집 도구(화가)를 사용했습니다.
편집과 훈련의 254가지 서로 다른 조합을 적용했습니다.

결과:

대부분의 경우, 편집은 사라졌습니다. 미세 조정 후, 성공적이었던 수정 사항 중 상당수가 실패로 변했습니다.
"널 공간(Null Space)"의 취약성: 특정 편집 방식(AlphaEdit)이 가장 취약했습니다. 이 방식은 모델의 뇌에서 보통 아무런 영향을 주지 않는 "그림자 영역"에 편집 내용을 숨기려고 시 합니다. 하지만 미세 조정은 매우 강력해서 그 그림자 영역을 새로운 정보로 채워버리고, 결국 편집을 완전히 지워버립니다.
모델 크기가 중요합니다: 더 큰 모델(GPT-J 등)은 작은 모델보다 편집 내용을 더 잘 유지하며 약간 더 견고했지만, 여전히 이 문제를 겪었습니다.

"플립(Flip)" 현상

연구자들은 미세 조정 후에 세 가지 이상한 현상이 일어난다는 것을 발견했습니다.

안정적인 편집(Stable Edits): 수정 사항이 유지됩니다. (드문 경우)
지워진 편집(Erased Edits): 수정 사항이 사라지고, 모델이 원래의 틀린 답으로 돌아갑니다. (흔한 경우)
불가능한 편집(Impossible Edits): 모델이 혼란을 겪어 원래의 오답도, 의도했던 수정 사항도 아닌 제3의 오답을 내놓습니다. (예: "파리"를 "런던"으로 바꾸려 했다면, 훈련 후 모델은 "베를린"이라고 말하기 시작할 수 있습니다.)

놀라운 반전: 의도적으로 편집을 삭제하는 법

논문은 또한 나쁜 편집(해커가 심어놓은 악의적인 편집 등)을 제거하거나 좋은 편집을 유지하는 방법을 살펴보았습니다. 그들은 영리한 전략을 테스트했습니다: 모델 전체를 훈련하지 말고, 특정 부분만 훈련하라.

가설 1: 만약 편집이 이루어진 레이어(층)만을 훈련한다면, 편집이 지워질 것이다.
- 결과: 참입니다. 이것이 편집을 제거하는 가장 효과적인 방법이었습니다. 이는 마치 나쁜 페인트가 칠해진 특정 지점만을 샌딩(사포질)하는 것과 같습니다.
가설 2: 만약 편집에 관여하지 않은 레이어만을 훈련한다면, 편집이 보호될 것이다.
- 결과: 거짓입니다. 놀랍게도, "안전한" 레이어만을 훈련하는 것이 모델 전체를 훈련하는 것보다 편집을 더 많이 파괴했습니다. 이는 마치 조각품의 윗부분을 직접 건드리지 않았음에도 불구하고, 조각품의 밑바닥을 너무 세게 흔들어 윗부분의 디테일이 떨어져 나가게 만드는 것과 같습니다.

핵가치: 만약 나쁜 편집을 제거하고 싶다면, 그 편집이 존재하는 특정 레이어만을 미세 조정하는 것이 가장 효율적입니다. 이는 나머지 모델의 성능은 거의 그대로 유지하면서 나쁜 데이터만 제거하는 정밀한 외과 수술과 같습니다.

왜 이런 일이 발생하는가? (뇌 스캔)

연구자들은 모델의 내부(활성화 공간)를 들여다보며 어떤 일이 일어나고 있는지 확인했습니다.

편집은 연못에 생기는 작고 국소적인 물결과 같습니다. 특정 지점의 물을 변화시킵니다.
미세 조정은 연못 전체를 휩쓰는 거대한 파도와 같습니다.

연구 결과, 미세 조정의 "파도"는 편집의 "물결"보다 훨씬 강력하며 움직이는 방향도 다릅니다. 파도가 들이닥치면 물결을 완전히 덮어버립니다. 모델의 내부 표현이 너무 급격하게 변하기 때문에, 작은 수정 사항은 살아남을 수 없습니다.

일반 독자를 위한 요약

편집은 일시적입니다: AI의 사실 관계를 수정하고 나서 새로운 데이터를 학습시키면, 그 수정 사항은 사라질 가능성이 높습니다.
당신의 잘못이 아닙니다: 모델의 구조 자체가 많은 새로운 것을 배우면서 작은 변화를 유지하는 것을 매우 어렵게 만듭니다.
편집은 쉽게 삭제할 수 있습니다: 나쁜 편집을 제거해야 한다면, AI 전체를 다시 훈련할 필요가 없습니다. 나쁜 편집이 존재하는 특정 부분만 조정하면 그것은 사라질 것입니다.
안전 경고: 악의적인 행위자가 AI에 악의적인 거짓말을 심어놓고(지식 편집), 이후 기업들이 그 AI를 새로운 작업을 위해 미세 조정한다면, 그 거짓말이 살아남아 퍼지거나 AI가 혼란을 겪어 새로운 거짓말을 지어낼 수 있습니다.

이 논문은 우리가 "사실을 고치는 것"과 "새로운 작업을 위한 훈련"을 별개의 단계로 취급하는 것을 멈춰야 한다고 결론짓습니다. 우리는 이 두 과정이 서로를 파괴하지 않고 공존할 수 있는 AI 시스템을 구축해야 합니다.

기술 요약: 파인튜닝이 편집을 지울 수 있는가? 지식 편집과 파인튜닝의 취약한 공존에 대하여

문제 정의

대규모 언어 모델(LLM)은 일반적으로 두 가지 구별된 사후 학습 개입을 통해 새로운 도메인에 적응합니다: 태스크 특화 데이터셋을 통해 모델 파라미터를 업데이트하는 파인튜닝(Fine-Tuning, FT) (LoRA 및 DoRA와 같은 매개변수 효율적 파인튜닝(PEFT) 방법 포함)과, 제한된 데이터 및 연산량을 사용하여 사실적 지식을 업데이트하는 **지식 편집(Knowledge Editing, KE)**입니다. 두 기술 모두 널리 채택되고 있지만, 역사적으로는 각각 독립적으로 연구되어 왔습니다.

본 논문은 LLM 배포 파이프라인의 중요한 간극을 다룹니다: 바로 이 두 프로세스 사이의 상호작용입니다. 구체적으로, 저자들은 지식 편집이 후속 파인튜닝 이후에도 생존하는지를 조사합니다. 이 질문은 두 가지 실질적인 우려에서 비롯되었습니다:

안전성: 만약 편집이 파인튜닝 후에도 지속된다면, 베이스 모델에 도입된 악의적인 편집(예: 백도어, 편향 주입 또는 허위 정보)이 다운스트림 애플리케이션으로 은밀하게 전파될 수 있습니다.
효율성: 만약 파인튜닝이 유익한 편집을 손상시키거나 지워버린다면, 운영자는 매 적응 단계마다 모델을 다시 편집해야 하므로 KE를 비효ฟ율적으로 만듭니다.

방법론

저자들은 254개의 독립적인 실험 구성을 아우르는 포괄적인 경험적 연구를 수행했습니다. 본 연구는 다양한 차원에서 파인튜닝 후 지식 편집의 붕괴를 체계적으로 정량화했습니다:

모델: GPT-J-6B, GPT2-XL, Llama2-7B, Llama3.1-8B, 그리고 (낮은 KE 성능으로 인해 제외된) DeepSeek을 포함한 5개의 LLM을 평가했습니다.
지식 편집(KE) 방법: 세 가지 대표적인 매개변수 수정 방법을 테스트했습니다:
- MEMIT: 확장 가능한 멀티-편집 방법.
- AlphaEdit: 간섭을 최소화하기 위해 섭동(perturbation)을 영공간(null space)으로 제한함.
- MEND: 보조 편집 네트워크를 사용하는 하이퍼네트워크 기반 접근 방식.
파인튜닝(FT) 방법: 세 가지 접근 방식을 비교했습니다:
- 전체 파라미터 파인튜닝(Full-parameter fine-tuning).
- LoRA (Low-Rank Adaptation).
- DoRA (Weight-Decomposed Low-Rank Adaptation).
데이터셋:
- 편집(Editing): CounterFact (CF) 및 Zero-Shot Relation Extraction (zsRE).
- 파인튜닝(Fine-Tuning): 상식 추론 데이터셋 및 지식 집약적 태스크를 위한 HotpotQA.
평가 지표:
- 표준 KE 지표: Efficacy Success (ES), Paraphrase Success (PS), 및 Neighborhood Success (NS).
- 새로운 지표: 편집 반전 비율 (Edit Flip Ratio, EFR). 이는 KE 이후에는 성공적이었으나 파인튜닝 이후 실패하게 된 편집의 비율로 정의됩니다. 이 지표는 성공적인 편집의 안정성을 구체적으로 격리하여 측정합니다.
기계론적 분석: 저자들은 레이어별 크기 변화, 방향성 드리프트(코사인 유사도), 그리고 UMAP(Uniform Manifold Approximation and Projection)을 사용하여 활성화 공간을 분석함으로써 편집이 왜 붕괴되는지 이해하고자 했습니다.

주요 기여

체계적 경험 연구: 모델, 데이터셋, 방법 전반에 걸쳐 254개 구성을 다루는 최초의 대규모 규모의 영향 조사입니다.
평가 프레임워크: 집계된 성능 지표를 넘어 성공적인 편집의 저하를 정밀하게 정량화하기 위해 **Edit Flip Ratio (EFR)**를 도입했습니다.
다층적 기계론적 분석:
- 파인튜닝 후 네 가지 행동 범주 식별: 안정적인 편집(Stable Edits), 지워진 편집(Erased Edits), 발현된 편집(Emergent Edits - 이전에 실패했으나 성공한 편집), 그리고 불가능한 편집(Impossible Edits).
- 파인튜닝이 KE보다 훨씬 더 크고 일관된 표현 변화(representational shifts)를 활성화 공간에 유도하여 편집의 삭제를 설명함을 입증했습니다.
편집 제거를 위한 실질적 전략: 편집된 레이어만 파인튜닝하거나 편집되지 않은 레이어만 파인튜닝하는 것이 전체 레이어 파인튜닝보다 효과적으로 편집을 제거할 수 있음을 발견했으며, 이는 악의적인 편집을 무력화하는 새로운 전략을 제공합니다.

주요 결과

1. 편집의 일반적인 붕괴

파인튜닝은 일반적으로 지식 편집을 저해합니다. 연구 결과, 대부분의 구성에서 후속 파인튜닝 후에 지식 편집이 상당히 붕괴됨을 발견했습니다.

붕괴 규모: 전체 파라미터 파인튜닝은 가장 많은 비율의 편집 실패를 초래했으며(평균 38.10% 감소), 그 뒤를 LoRA(28.71%)와 DoRA(29.88%)가 이었습니다.
모델 민감도: GPT-J가 가장 높은 구조적 견고성(평균 감소율 15.93%)을 보였으며, GPT2-XL과 Llama2는 더 높은 변동성과 더 큰 붕괴를 보였습니다.
방법론 민감도: AlphaEdit가 가장 큰 붕괴를 보였습니다. 예를 들어, GPT-J의 zsRE 벤치마크에서, 이전에 성공했던 AlphaEdit 편집의 25.27%가 파인튜닝 후 실패하게 되었습니다. 저자들은 이를 기존 지식 공간과 거의 직교하며 파인튜닝의 손실 계산 중에 페널티를 받지 않는 영공간 저장 메커즘의 취약성 때문이라고 설명합니다.

2. 데이터셋 및 규모의 영향

데이터셋: zsRE 데이터셋에 대한 편집은 CounterFact (CF)에 비해 일반적으로 더 큰 성능 저하를 겪었습니다. 이는 CF(순위 기반)에 비해 엄격한 평가 기준(정확한 생성 요구)을 가진 zsRE의 특성 때문입니다.
규모: 더 많은 수의 편집은 특히 AlphaEdit의 경우 붕애를 가중시켰습니다.

3. 선택적 레이어 파인튜닝

역설적인 발견은 편집되지 않은 레이어만 파인튜닝하는 것이 모든 레이어를 파인튜닝하는 것보다 더 큰 편집 붕괴를 초래한다는 것이었습니다.

편집 제거 순서: 편집 제거의 효과는 편집된 레이어 파인튜닝 > 비편집 레이어 파인튜닝 > 모든 레이어 파인튜닝 순으로 나타났습니다.
트레이드오프: 편집된 레이어만을 파인튜닝하는 것이 편집을 제거하는 데 가장 효과적이었지만, 비편집 레이어를 파인튜닝할 때보다 다운스트림 태스크 성능의 저하가 더 컸습니다.
메커니즘: 이는 분산 표현 가설(distributed representation hypothesis)과 일치합니다. 편집은 여러 레이어에 걸쳐 저장됩니다. 더 적은 수의 레이어(편집된 레이어 또는 비편집 레이어)에 가중치 업데이트를 집중시키는 것은 편집을 지원하는 조정된 구조를 방해하는 더 큰 레이어별 섭동을 일으킵니다.

4. 기계론적 통찰 (활성화 공간)

크기(Magnitude): 파인튜닝은 국소적이고 제한적인 섭동을 유도하는 KE에 비해 모든 레이어에서 실질적으로 더 큰 활성화 크기 변화를 유도합니다.
방향(Direction): 파인튜닝에 의해 유도된 방향성 변화는 KE에 의해 유도된 변화와 거의 직교합니다.
UMAP 분석: 표현 공간에서, 파인튜닝된 모델( $M_{ft}$ )과 파인튜닝 후 편집된 모델( $M_{ed\_ft}$ )의 클러스터는 상당히 겹치지만, 두 모델 모두 편집 전용 모델( $M_{ed}$ )과는 명확히 구분됩니다. 이는 파인튜닝이 모델의 내부 표현을 파인튜닝 방향으로 다시 끌어당겨, KE에 의해 도입된 미세한 변화를 효과적으로 덮어쓴다는 것을 나타냅니다.

의의 및 주장

본 논문은 기존의 KE 방법들이 후속 파인튜닝에서도 지속될 수 있는 일관되게 안정적인 편집을 생성하는 데 실패한다고 결론짓습니다. 저자들은 이것이 현재의 LLM 애플리케이션 파이프라인에서 발생하는 치명적인 취약성을 강조한다고 주장합니다.

안전성 함의: 악의적인 편집의 "상속" 위험은 실재합니다. 만약 편집이 지속된다면, 파인튜닝된 모델은 숨겨진 편향이나 백도어를 전파할 수 있습니다. 반대로, 만약 편집이 지워진다면, 해로운 베이스 모델의 행동을 교정하기 위한 KE의 유용성이 훼손됩니다.
배포 가이드라인: 본 연구는 KE를 독립적인 것이 아니라 LLM 라이프사이클의 더 넓은 맥락 내에서 평가해야 할 필요성을 강조합니다.
향-후 연구 방향: 저자들은 향후 KE 연구가 반드시 다운스트림 적응을 명시적으로 고려해야 한다고 제안합니다. 이들은 편집된 레이어에서의 활성화 변화를 페널티를 주는 정규화를 통합하거나, FT 업데이트를 KE 매개변수의 직교 부분 공간에 투영하는 등의 잠재적인 완화 전략을 제시하지만, 이는 구현된 해결책이라기보다 향후 연구를 위한 방향으로 제시되었습니다.

저자들은 테스트된 아키텍처들(Transformer 백본을 공유함) 전반에 걸쳐 발견이 견고하다는 점을 언급하면서도, 구체적인 붕괴 정도는 다른 모델이나 구성에 따라 달라질 수 있다는 점을 명시하며 신중한 어조를 유지합니다. 저자들은 향-후 연구의 기준으로 삼을 수 있도록 코드와 결과를 제공합니다.