기술 요약: LLM 에이전트를 위한 에이전틱 도구 언러닝 (Agentic Tool Unlearning)

문제 정의: 도구 매개 회복 (Tool-Mediated Recovery)

본 논문은 대규모 언어 모델(LLM) 언러닝(unlearning) 방법의 배포 과정에서 발생하는 결정적인 실패 모드를 식별한다. 전통적인 머신 언러닝은 모델의 파라미터에서 특정 정보(이하 "망각 대상")를 제거하면서도 다른 작업에 대한 유용성은 보존하는 것을 목표로 한다. 그러나 현재의 평가 프로토콜은 주로 모델이 외부의 도움 없이 직접 답변하는 독립형 추론(standalone inference) 설정에서 언러닝을 테스트한다.

저자들은 이러한 평가가 현대적인 도구 증강 에이전트(tool-augmented agents) 환경에서는 불완전하다고 주장한다. 실제 배포 환경에서 에이전트는 질문에 답하기 위해 외부 도구(예: 웹 검색, 데이터베이스 조회, 문서 검색)를 호출할 수 있다. 본 논문은 **도구 매개 회복(tool-mediated recovery)**을, 에이전트가 파라미터 가중치 상에서는 성공적으로 "망각"했음에도 불구하고, 외부 도구를 통해 해당 정보를 검색하고 이를 최종 응답에 포함함으로써 망각된 정보를 복구해내는 현상으로 정의한다.

이는 **배포 수준의 불일치(deployment-level mismatch)**를 야기한다. 즉, 모델은 독립형 평가(낮은 forget-set 점수) 하에서는 언러닝이 잘 된 것처럼 보이지만, 에이전트 프레임워크에 결합되었을 때는 효과적으로 대상을 재학습하게 된다. 단순히 도구 사용을 비활성화하는 것은 도구 증강이 제공하는 광범위한 유용성과 사실성을 희생시키기 때문에 실행 가능한 해결책이 아니다.

방법론: 에이전틱 도구 언더닝 (ATU)

이를 해결하기 위해 저자들은 망각 대상에 대한 직접적인 파라미터 회상과 도구 매개 회복을 모두 억제하면서, 유지된 지식에 대한 정상적인 도구 사용은 보존하도록 설계된 2단계 프레임워크인 **에이전틱 도구 언러닝(Agentic Tool Unlearning, ATU)**을 제안한다.

1단계: 파라미터 지식 언러닝

첫 번째 단계는 망각 집합 $F(c)$와 유지 집합 $R$을 사용하여 베이스 LLM($\pi_{\theta_0}$)에 표준 파라미터 언러닝 기법을 적용한다. 목표는 망각 대상의 직접적인 회상을 억제하는 것이다. 저자들은 기존 방식인 Gradient Ascent (GA), Rejection Tuning (RT), Direct Preference Optimization (DPO), 그리고 Negative Preference Optimization (NPO)를 활용하여 중간 단계의 언러닝 모델($\pi_{\theta_1}$)을 생성한다. 이 단계는 모델이 내부 가중치만으로 대상 답변을 생성하지 못하도록 보장한다.

2단계: 에이전틱 도구 언러닝 (궤적 수준 RL)

두 번째 단계는 회복 채널을 다룬다. 모델 $\pi_{\theta_1}$은 **그룹 상대적 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 **시뮬레이션된 도구 증강 환경($E_{train}$)**에서 추가 학습된다.

• 환경: 에이전트는 망각 대상과 관련된 도구 세트(예: 웹 검색, 로컬 데이터베이스)와 상호작용한다.
• 궤적 수준 보상 (Trajectory-Level Reward): 최종 출력에만 집중하는 표준 언러닝과 달리, ATU는 전체 상호작용 궤적 $\tau = (x, a_1, o_1, \dots, a_K, o_K, y)$에 보상을 할당한다.
  • 망각 쿼리 (Forget Queries): 고정된 LLM 판별기(judge)가 궤적을 점수화한다. 에이전트가 대상을 찾기 위해 도구를 호출하거나 최종 답변이 대상을 유출하는 경우 높은 패널티가 부여된다. 도구가 호출되었더라도 대상이 드러나지 않는 안전한 거절이나 정보가 없는 응답을 보였을 때 보상이 주어진다.
  • 유지 쿼리 (Retain Queries): 올바르고 도움이 되는 답변과 적절한 도구 사용을 장려하는 보상을 부여하여, 모델이 모든 쿼리를 거절하거나 전역적으로 도구 사용을 중단하는 퇴보된 정책으로 변질되지 않도록 한다.
• 목표: 정책은 대상 탐색적 도구 행동과 최종 답변 유출을 최소 양화하는 방향으로 업데이트되는 동시에, 일반적인 유용성을 보존하기 위해 Stage 1 모델과 가까운 상태를 유지하도록 하는 KL 발산 패널티를 유지한다.

주요 기여

1. 도구 매개 회복의 식별: 저자들은 외부 도구 관측을 통해 잊힌 지식을 재구성함으로써 파라미터 언러닝을 우회하는 새로운 배포 수준의 불일치를 공식적으로 식별하고 특성화하였다.
2. ATU 프레임워크: 파라미터 언러닝과 궤적 수준의 강화 학습을 결합한 새로운 2단계 프레임워크를 제안한다. 이 접근 방식은 특히 대상 탐색적 도구 호출과 답변 유출을 억제하는 데 특화되어 있다.
3. 실증적 검증: 다양한 LLM 아키텍처(Qwen-3-4B, Qwen-2.5-7B, Qwen-3-8B)와 벤치마크(RWKU, MUSE)에 걸친 광범적인 실험을 통해, ATU가 유지된 유용성과 일반적인 도구 사용 능력을 유지하면서 도구 매개 회복을 유의미하게 감소시킨다는 것을 입증하였다.

실험 결과

본 논문은 RWKU(Real-World Knowledge Unlearning) 및 MUSE(Machine Unlearning Six-way Evaluation) 벤치마크에서 ATU를 평가한다.

• 회복 격차 (Recovery Gap): 실험은 회복 격차의 존재를 확인한다. 예를 들어, Qwen-3-4B를 사용한 RWKU에서 NPO(1단계)로 언러닝된 모델은 독립형 모드에서 forget-set 점수를 57.7에서 44.6으로 낮추었다. 그러나 에이전트로 배포했을 때, 점수는 베이스 모델의 성능에 가깝게 68.6으로 반등했다.
• ATU의 효능: 2단계(ATU)를 적용하면 이러한 회복이 크게 완화되었다. NPO + Stage 2 구성은 에이전트 배포 시의 forget-set 점수를 47.5로 낮추었으며, 이는 Stage 1 에이전트 대비 21.1 포인트 감소한 수치이다. 유사한 개선 효과가 다른 언러닝 방법(GA, DPO, RT)과 모델 크기에서도 관찰되었다.
• 유용성 보존: 프레임-워크는 유용성을 성공적으로 보존했다. Stage 2 모델은 인접 지식(locality), 사실성, 유창성 및 일반 추론(MMLU, BBH)에서 높은 점수를 유지했다. 결정적으로, 모델은 대상과 무관한 작업(예: 해시 계산, 대상과 무관한 데이터베이스 쿼리)을 위한 도구 사용 능력을 유지하였으며, 이는 ATU가 도구 사용을 전역적으로 억제하지 않음을 보여준다.
• 일반화: 이 방법은 서로 다른 백본 모델과 도구 세트 전반에서 일반화되었다. 검색 도구를 대체 API(예: ddg-search를 Tavily로 교체)로 바꾸어도 ATU는 도구 매개 회복을 계속해서 줄였으며, 이는 ATU가 특정 도구 이름에 과적합되는 것이 아니라 대상 탐색을 피하는 일반적인 행동을 학습함을 나타낸다.

의의 및 주장

본 논문은 파라미터 지식 언러닝만으로는 도구 증강 에이전트 환경에서의 안전한 배포를 보장하기에 불충분하다고 주장한다. 독립형 출력을 기준으로 하는 표준 언러닝 평가는 외부 도구가 제공하는 회복 채널을 간과하기 때문에 견고성을 과대평가한다.

ATU의 의의는 언러닝을 에이전트 배포의 현실과 일치시킨다는 점에 있다. 모델이 대상 탐색적 궤적(도구 호출 및 관측 포함)을 인식하고 피하도록 훈련함으로써, ATU는 정보 유출에 대한 더 강력한 방어책을 제공한다. 저자들은 이 연구를 LLM 에이전트가 복잡한 도구 기반 워크플로우에 통합되더라도 개인정보 보호나 저작권 준수와 같은 언러닝 요구사항이 유효하게 유지되도록 하는 필수적인 단계로 규정한다.

본 논문은 ATU가 항상 독립형 성능 수준까지 격차를 완전히 메우지는 못하며, 학습된 정책이 도구 관측이 명시적이거나 배포 환경이 훈련 시뮬레이션과 크게 다를 경우 여전히 정보를 유출할 수 있다는 한계를 인정하며 겸허한 태도를 유지한다. 저자들은 향-후 연구로서 런타임 모니터링이나 도구 측면의 액세스 제어를 통해 이러한 방어력을 더욱 강화할 수 있을 것이라고 제언한다.