🤖 machine learning

Reinforcement Learning for Neural Model Editing

이 논문은 신경망 모델 편집을 에이전트 기반 최적화 문제로 정식화하는 강화 학습 프레임워크를 제안하며, 학습된 정책이 수동으로 설계된 작업별 알고리즘 없이도 전체적인 모델 성능을 유지하면서 편향 완화 및 머신 언러닝과 같은 작업을 효과적으로 수행할 수 있음을 입증한다.

원저자: Shaivi Malik

게시일 2026-06-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shaivi Malik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 수년간 거대한 요리책을 완성해 온 숙련된 셰프가 있다고 상상해 보세요. 이 셰프는 거의 모든 것을 요리할 수 있지만, 몇 가지 나쁜 습관이 생겼습니다. 예를 들어, 모든 요리에 실수로 소금을 너무 많이 넣거나(편향), 잊으라고 배운 특정 레시피를 기억하고 있는 식입니다(기계 망각).

전통적으로 이 셰프를 고치고 싶다면, 전문적인 "수정 전문가"가 직접 요리책의 특정 페이지를 다시 써야 했습니다. 하지만 이 과정은 느리고 어려우며, 문제마다 다른 전문가가 필요하다는 단점이 있습니다.

이 논문은 다른 접근 방식을 제안합니다. 비디오 게임을 통해 셰프가 스스로를 고치도록 가르치는 것입니다.

핵심 아이디어: "시도, 실패, 보상"의 게임

저자들은 신경망(셰프의 두뇌)을 편집하는 것을 강화 학습(RL) 게임처럼 다룹니다.

에이전트(Agent): 셰프의 요리책을 미세하게 조정하는 역할을 하는 디지털 "플레이어"입니다.
환경(Environment): 신경망 그 자체입니다.
목표: 플레이어는 어떻게 책을 고쳐야 하는지 모릅로 됩니다. 대신, 변화를 줄 때마다 **점수(보상)**를 받습니다.
- 만약 그 변화가 셰프의 나쁜 습관은 없애면서도 다른 모든 요리를 잘 만드는 능력은 유지한다면, 높은 점수를 받습니다.
- 만약 그 변화가 나쁜 습관은 없앴지만 일반적인 요리를 하는 능력까지 망가뜨린다면, 낮은 점수를 받습니다.

시간이 흐름에 따라, 플레이어는 인간이 수정 뒤에 숨겨진 수학적 원리를 설명해주지 않아도, 오직 높은 점수를 쫓는 과정을 통해 올바르게 조정하는 "정책(strategy)"을 학습하게 됩니다.

두 가지 "놀이터"

저자들은 플레이어가 무게값(요리책의 재료들)을 서로 다른 방식으로 변경할 수 있는 두 가지 특정 "게임 모드"에서 이 아이디어를 테스트했습니다.

MaskWorld (조절 스위치):
플레이어가 특정 재료의 볼륨을 높이거나 낮출 수 있다고 상상해 보세요. 그들은 가중치에 0과 1 사이의 숫자를 곱할 수 있습니다. 만약 0을 곱한다면, 그 재료는 사실상 무음 상태가 됩니다.
ShiftWorld (슬라이드):
플레이어가 값을 위아 아래로 미세하게 더하거나 빼서 조절할 수 있다고 상상해 보세요. 이는 오븐의 온도를 약간 높이거나 낮추는 것과 같습니다.

복잡한 요리책에서도 이 게임을 플레이 가능하게 만들기 위해, 저자들은 LoRA(거대한 변화를 관리하기 쉬운 두 개의 작은 조각으로 나누는 기술)에서 영감을 얻은 트릭을 사용했습니다. 이를 통해 플레이어가 수백만 개의 숫자를 한꺼번에 바꾸느라 압도당하지 않도록 했습니다.

그들이 플레이한 두 가지 도전 과제

저자들은 이 "자기 교정" 시스템을 두 가지 실제 문제에 테스트했습니다.

1. "나를 잊어줘" 챌기 (기계 망각)

설정: 모델이 필기체 숫자(0~~9)를 인식하도록 학습되었습니다. 목표는 모델이 숫자 7을 완전히 "잊게" 만드는 동시에, 0~~6 및 8~9를 인식하는 능력은 완벽하게 유지하는 것입니다.
결과: 플레이어는 모델이 숫자 7에 대해 0%의 정확도(숫자를 전혀 인식하지 못함)를 갖도록 가중치를 조정하는 법을 배웠으며, 동시에 다른 숫자들을 인식하는 능력은 오히려 약간 향상되었습니다. 이는 다른 지능을 망가뜨리지 않고 성공적으로 7에 대한 기억을 지워냈음을 의미합니다.

2. "공정성" 챌린지 (편향 완화)

설정: 독성 댓글을 탐지하도록 훈련된 모델이 있었습니다. 그러나 훈련 데이터에 편향이 있어, 모델은 "black"과 같은 단어가 훈련 세트 내의 독성 문장에 등장한다는 이유만으로 이를 부적절한 것으로 잘못 분류했습니다.
결과: 플레이어는 이러한 불공정한 연관성을 멈추도록 가중치를 조정하는 법을 배웠습니다. 모델은 편향을 무시하는 능력이 훨씬 좋아졌으며(공정성 점수 5~7% 이상 향-상), 실제 독성을 탐지하는 능력은 그대로 유지했습니다.

핵심 결론

이 논문은 신경 모델 편집이 항상 새로운 문제마다 맞춤형으로 설계된 인간의 알고리즘을 필요로 하는 것은 아님을 주장합니다. 대신, 문제를 에이전트가 "좋은 것은 유지하되 나쁜 것은 고쳐라"라는 단순한 점수표의 안내를 받아 시행착오를 통해 해결책을 배우는 게임으로 프레임화할 수 있습니다.

한계점 (Limitations)

저자들은 한계점에 대해서도 솔직하게 밝히고 있습니다. 이 방식은 특정 레이어나 작은 작업에는 잘 작동하지만, 거대한 모델의 전체 두뇌를 대상으로 이 게임을 수행하는 것은 현재 너무 혼란스럽습니다. "행동 공간(action space, 플레이어가 변경할 수 있는 요소의 수)"이 너무 방대하여 학습 과정이 불안정해집니다. 그들은 향れて 여러 명의 플레이어가 협력하여 문제를 해결해야 할 수도 있다고 제안합니다.

요약하자면: 이 논문은 우리가 매번 문제를 해결하기 위해 인간이 직접 규칙을 작성하는 대신, 보상 기반의 게임을 통해 AI가 스스로를 "편집"하도록 가르칠 수 있음을 보여줍니다.

기술 요약: 신경망 모델 편집을 위한 강화 학습

문제 정의
특정 목적(예: 개념 삭제, 편향 완화, 또는 새로운 지식 통합)을 달aio 위해 사전 학습된 신경망을 수정하는 작업은 전통적으로 전문적이고 수동으로 설계된 알고리즘을 필요로 합니다. 이러한 방법들은 설계에 시간이 많이 소요되며 다양한 작업에 걸쳐 일반화하기 어렵다는 단점이 있습니다. 본 논문은 신경망 모델 편집 과정을 강화 학습(RL) 문제로 정형화함으로써 이 과정을 자동화할 수 있는지 조사합니다. 핵심 연구 질문은 RL 에이전트가 특정 편집 작업을 위한 그래디언트(gradient)나 수동으로 구축된 데이터셋에 접근하지 않고도, 오직 보상 피드백만을 사용하여 신경망 가중치를 수정하는 정책을 학습할 수 있는가 하는 것입니다.

방법론
저자들은 에이전트가 보상 신호에 따라 반복적으로 가중치를 업데이트하며 신경망과 상호작용하는 탐색적 프레임워크를 제안합니다. 이 프레임워크는 두 가지 구별된 환경으로 구성됩니다:

MaskWorld: 에이전트는 가중치를 곱셈 방식으로 스케일링하여 수정합니다. 행동 $a_t$ 는 특정 레이어 $l$ 의 가중치를 $W^{(l)}_t = W^{(l)} \odot a_t$ 와 같이 스케일링하며, 여기서 $a_t$ 는 0.0에서 1.0 사이의 상수 벡터입니다.
ShiftWorld: 에이전트는 가중치에 덧셈 업데이트를 적용하여 수정합니다. 행동 $a_t$ 는 가중치를 $W^{(l)}_t = W^{(l)} + a_t$ 와 같이 이동시키며, 여기서 $a_t$ 는 -0.05에서 0.05 사이의 상수를 포함합니다.

고차원 행동 벡터(예: 가중치 행렬의 $m \times n$ )를 예측하는 데 따르는 계산적 불가능성을 해결하기 위해, 저자들은 머신 언러닝(machine unlearning) 작업을 위해 LoRA(Low-Rank Adaptation)에서 영감을 얻은 메커즘을 채택했습니다. 에이전트는 전체 가중치 업데이트 행렬을 예측하는 대신 두 개의 저차원 행렬 $A$ 와 $B$ 를 예측함으로써, 행동 공간의 차원을 줄이고 정책 최적화를 안정화합니다.

보상 함수
보상 함수 $R$ 은 두 가지 구성 요소의 가중 합으로 이루어집니다:
$R = \alpha U(w) + \beta O(w)$

유용성 항 ( $U(w)$ ): 일반적인 모델 성능(예: "보존(retain)" 세트 또는 일반 데이터셋에 대한 정확도)을 유지하도록 장려합니다.
편집 목적 항 ( $O(w)$ ): 특정 편집 목표의 성공 여부를 정량화합니다(예: "망각(forget)" 세트에 대한 정확도를 최소화하거나 편향 지표를 감소시킴).
계수 ( $\alpha, \beta$ ): 유용성 유지와 편집 목표 달성 사이의 트레이드오프를 조절합니다. 특히, 언러닝 작업에서는 망각 세트에 대한 성능에 페널티를 주기 위해 $\beta$ 를 음수 값으로 설정합니다.

에이전트는 MLP 정책 네트워크를 사용하는 PPO(Proximal Policy Optimization)를 사용하여 학습됩니다. 결정적으로, 에이전트는 그래디언트를 받지 않으며, 수정된 모델이 샘플링된 배치에 대해 보이는 성능을 통한 시행착오만을 통해 학습합니다.

주요 기여 및 실험 결과
본 프레임워크는 이미지 분류에서의 머신 언러닝과 텍스트 분류에서의 편향 완화라는 두 가지 뚜렷한 작업에 대해 평가되었습니다.

머신 언러닝 (MNIST): 목표는 숫자 클래스 7을 "망각"하면서 클래스 0–6 및 8–9에 대한 성능을 유지하는 것입니다.
- 결과: 학습된 정책은 망각 세트(클래스 7)에 대한 정확도를 거의 0%에 가깝게 낮추었습니다 (MaskWorld의 경우 0.0000, ShiftWorld의 경우 0.0006).
- 유용성 보존: 성능 저하에 대한 예상과 달리, 수정된 모델은 원래 모델에 비해 보존 세트에 대한 정확도가 약간 향상되었습니다 (92.84%에서 ~93.5%로).
- 관찰 사항: 에이전트는 최적화 과정 동안 훈련 데이터의 15%만을 사용하면서도 이러한 결과를 달성하였으며, 이는 테스트 세트에 대한 강력한 일반화 능력을 보여줍니다.
편향 완화 (Jigsaw Toxic Comments): 목표는 특정한 상관관계(예: "black"이라는 단어를 독성(toxicity)과 연관 짓는 것)를 줄이면서 일반적인 분류 유용성을 유지하는 것입니다.
- 결과: 수정된 모델은 합성된 편향 없는 테스트 세트에 대한 정확도를 약 6~7% 개선했습니다 (예: ShiftWorld는 55.36%에서 62.52%로 개선됨).
- 유용성 보존: 일반 데이터셋의 정확도는 약 1%만 감소하여 안정적으로 유지되었으며, 이는 에이전트가 편향 감소와 유용성 보존 사이의 균형을 성공적으로 맞추었음을 나타냅니다.

의의 및 주장
본 논문은 이러한 특정 작업들에 대해 최첨단(SOTA) 전문 알고리즘보다 우수한 성능을 낸다고 주장하지 않습니다. 대신, 본 연구의 주요 의의는 신경망 모델 편집을 수동으로 설계된 것이 아니라 학습 가능한 RL 문제로 치환할 수 있다는 패러다임의 전환을 보여주는 데 있습니다.

저자들은 자신들의 연구 결과가 RL이 보상 피드백으로부터 편집 정책을 학습하기 위한 일반적이고 확장 가능한 프레임워크를 제공한다는 점을 시사한다고 주장합니다. 이러한 접근 방식은 각 새로운 목적에 대해 작업별 알고리즘 설계를 요구하지 않고도, 목표한 목적(언러닝 또는 편향 제거 등)을 달명하기 위한 가중치 수정을 발견할 수 있게 합니다. 본 연구는 공정성, 강건성, 개인정보 보호 등의 분야에서 모델 편집을 위한 학습된 접근법에 대한 향후 연구를 촉진하는 개념 증명(proof-of-concept) 역할을 합니다.

한계점
저자들은 현재의 프레임워크가 RL 고유의 확장성 문제를 직면하고 있음을 인정합니다. LoRA에서 영감을 얻은 메커즘이 고차원 레이어를 다루는 데 도움을 주지만, 거대한 행동 공간으로 인한 불안정성 때문에 대규모 모델의 모든 레이어를 완전히 최적화하는 것은 여전히 불가능합니다. 향arian 과제로 이러한 한계를 해결하기 위해 멀티 에이전트 설정 및 게임 이론적 접근 방식을 탐구할 것을 제안합니다.