🤖 machine learning

Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks

본 논문은 보상 포이즈닝 공격(reward poisoning attacks)에 대한 강건한 인컨텍스트 강화 학습을 달성하기 위해 의사결정 사전 학습 트랜스포머(Decision-Pretrained Transformer)와 공격자 집단을 동시에 학습시키는 새로운 프레임워크인 AT-DPT(Adversarially Trained DPT)를 제안하며, 밴딧(bandit) 및 복잡한 MDP 환경 모두에서 표준 베이스라인보다 우수한 성능을 입증한다.

원저자: Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 로봇에게 '컨닝 페이퍼'를 보고 배우는 법 가르치기

당신이 로봇에게 비디오 게임을 하는 법을 가르치고 있다고 상상해 보세요. 보통은 특정 규칙을 프로그래밍하거나, 로봇이 스스로 방법을 깨우칠 때까지 몇 시간 동안 연습하게 만듭니다.

하지만 이 논문은 다른 종류의 로봇에 대해 다룹니다. 바로 **인컨텍스트 강화 학습(In-Context Reinforcement Learning, ICRL)**을 사용하는 로봇입니다. 이 로봇은 일종의 '천재 학생'과 같습니다. 새로 프로그래밍할 필요 없이, 그저 "과거의 움직임과 보상이 기록된 데이터(히스토리)"라는 이름의 '컨닝 페이퍼'를 건네주며 "이게 게임이 돌아가는 방식이야, 이제 가서 플레이해 봐"라고 말하기만 하면 됩니다. 로봇은 이 컨닝 페이퍼를 읽고 패턴을 파악하여 즉시 게임을 시작합니다.

이 논문은 DPT(Decision-Pretrained Transformer)라고 불리는 특정 모델에 초점을 맞춥고 있습니다. DPT는 이러한 컨닝 페이퍼를 읽는 데 매우 뛰어납니다. 하지만 문제가 하나 있습니다. 만약 누군가 이 컨닝 페이퍼를 조작한다면 어떻게 될까요?

문제점: '오염된' 컨닝 페이퍼

현실 세계에서는 악의적인 행위자(공격자)가 로봇을 속이려 할 수 있습니다. 그들은 로봇의 뇌를 바꿀 수는 없지만, 로봇이 히스토리에서 보는 보상(reward) 값은 바꿀 수 있습니다.

시나리오: 로봇이 시장에서 가장 좋은 과일을 고르는 법을 배우고 있다고 가정해 봅시다.
공격: 한 방해꾼이 로봇의 히스토리에 적힌 과일 가격표를 몰래 바꿉니다. 썩은 사과는 비싸 보이게(높은 보상) 만들고, 싱싱한 사과는 싸 보이게(낮은 보상) 만드는 식입니다.
결과: 로봇은 오염된 히스토리를 읽고 썩은 사과가 최고의 선택이라고 생각하여, 결국 썩은 사과를 사게 됩니다. 이를 **보상 오염 공격(Reward Poisoning Attack)**이라고 합니다.

기존의 연구들은 대부분 학습 '단계'에서 로봇을 보호하는 데 집중했습니다. 하지만 이 논문은 다음과 같은 질문을 던집니다. 단순히 사건의 기록(히스토리)을 읽는 것만으로 실시간 학습을 수행하는 로봇을 어떻게 보호할 것인가?

해결책: '스파링 파트너' 방식 (AT-DPT)

저자들은 AT-DPT(Adversarially Trained DPT)라는 새로운 방법을 만들어냈습니다. 단순히 로봇을 패치하는 수준을 넘어, **적대적 훈련(Adversarial Training)**이라는 기법을 통해 로봇이 스스로 맞서 싸우는 법을 가르친 것입니다.

이것은 마치 무술 도장과 같습니다:

학생 (로봇): 데이터가 엉망이더라도 최선의 행동을 선택하는 법을 배워야 합니다.
스파링 파트너 (공격자): 연구진은 로봇을 속이는 것이 유일한 목표인 '악당 AI'를 만들었습니다. 이 악당은 로봇이 잘못된 선택을 하도록 유도하기 위해 히스토리(보상)를 끊임없이 다시 쓰려고 시도합니다.
훈련 루프:
- 악당이 로봇의 히스토리를 오염시키려 합니다.
- 로봇은 그 오염을 무시하고 진실을 찾아내려고 노력합니다.
- 이 과정을 계속 반복합니다.
- 결국, 로봇은 거짓말을 간파하는 능력이 매우 뛰어나져서, 악당이 최선을 다해 속이려 해도 여전히 승리할 수 있게 됩니다.

그 결과, 로봇은 '온갖 일을 다 겪어본' 상태가 됩니다. 로봇은 때때로 보상 숫자가 거짓일 수 있다는 것을 깨닫고, 그 너머의 진짜 진실을 찾는 법을 배우게 됩니다.

테스트 방법

연구진은 이 '슈퍼 로봇'을 세 가지 서로 다른 시나리오(비디오 게임의 레벨과 같은 환경)에서 테스트했습니다.

슬롯머신 (Bandits): 5개의 슬롯머신이 늘어서 있습니다. 로봇은 어떤 머신이 가장 많이 배당을 주는지 알아내야 합니다. 공격자는 각 머신의 배당액에 대해 거짓말을 합니다.
- 결과: AT-DPT 로봇은 진짜 승자를 찾아냈지만, 일반적인 로봇들(Thompson Sampling이나 UCB 등)은 혼란에 빠져 계속 패배하는 머신을 선택했습니다.
미로 (MDPs): 로봇이 어두운 방을 통과해 보물을 찾는 상황입니다. 공격자는 특정 움직임이 얼마나 좋았는지에 대해 거짓말을 합니다.
- 결과: AT-DPT 로봇은 공격자가 로봇의 행동에 맞춰 거짓말을 바꾸는 '적응형 공격'을 펼치는 상황에서도 훨씬 더 안정적으로 보물을 찾아냈습니다.
시각적 미로 (Visual Maze): 로봇이 이미지를 이용해 길을 찾아야 하는 3D 환경에서도 테스트를 진행했습니다. AT-DPT 로봇은 여전히 다른 방식들보다 우수한 성능을 보여주었습니다.

이것이 왜 중요한가

이 논문은 로봇에게 거짓말(오염된 데이터)을 예상하도록 훈련시키면, 로봇이 훨씬 더 견고해진다고 주장합니다.

일반적인 로봇은 신문에 적힌 모든 내용을 그대로 믿는 사람과 같습니다. 신문에 거짓이 실리면 그대로 믿어버립니다.
AT-DPT 로봇은 위조 전문가에게 훈련받은 탐정과 같습니다. 신문이 거짓을 말할 수도 있다는 것을 알기에, 사실을 재확인하고 끝내 진실을 찾아냅니다.

저자들은 (다양한 공격자 집단을 활용해 학습하는) 이 접근 방식이, 데이터가 악의적인 행위자에 의해 조작될 수 있는 상황에서도 AI를 안전하고 신뢰할 수 있게 만드는 강력한 방법이라고 결론지었습니다. 또한, 로봇이 거짓말을 완벽하게 잡아내지 못하더라도, 다양한 까다로운 공격자들을 상대로 훈련받았다면 충분히 효과적이라는 점을 강조했습니다.

기술 요약: 보상 포이즈닝 공격에 대한 강건한 인컨텍스트 강화 학습 (Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks)

문제 정의

본 논문은 **인컨텍스트 강화 학습(In-Context Reinforcement Learning, ICLR)**이 **보상 포이즈닝 공격(reward poisoning attacks)**에 취약하다는 점을 다룹니다. 전통적인 강화 학습 문헌은 에이전트의 정책이 학습 과정 중에 오염되는 학습 시점(training-time)의 공격으로서 보상 포이절닝을 광범위하게 연구해 왔으나, ICRL 에이전트는 이와 다르게 동작합니다. ICRL 에이전트는 트랜스포머 모델(구체적으로는 Decision-Pretrained Transformer, 즉 DPT) 내에서 상호작용의 이력(상태, 행동, 보상)을 처리함으로써 "인컨텍스트" 방식으로 학습 알고리즘을 구현합니다.

이러한 설정에서 공격자는 에이전트가 관찰하는 보상을 오염시킴으로써 **테스트 시점의 컨텍스트(test-time context)**를 포이즌할 수 있습니다. 에이전트는 이 컨텍스트를 기반으로 자신의 정책을 추론하므로, 공격자가 테스트 시점에 보상을 오염시키면 에이전트의 사전 훈련된 파라미터를 변경하지 않고도 에이전트의 행동에 영향을 미칠 수 있습니다. 본 논문은 이를 공격자가 에이전트의 실제 리턴(true return)을 최소화하도록 관찰된 보상의 일부( $\epsilon$ )를 수정하는 테스트 시점 보상 포이즈닝 공격으로 정형화하며, 이때 소프트 예산 제약(soft budget constraint)을 준수하도록 합니다.

방법론: 적대적 훈련된 DPT (AT-DPT)

저자들은 인컨텍스트 학습과 적대적 훈련을 결리하여 이러한 공격에 강건한 에이전트를 생성하는 새로운 프레임워크인 AT-DPT를 제안합니다. 핵심 아이디어는 에이전트와 일련의 공격자 집단을 미니맥스 게임(minimax game) 내에서 동시에 훈련시키는 것입니다.

1. 공격 모델

공격자는 상태, 행동, 실제 보상, 그리고 에이전트의 인컨텍스트 데이터셋을 관찰하는 함수 $\pi^\dagger_\phi$ 로 모델링됩니다. 이 함수는 확률 $\epsilon$ 으로 오염된 보상 $r^\dagger$ 를 생성합니다. 공격자의 목표는 오염된 보상의 평균과 분산을 실제 환경 보상과 비교하여 설정된 소프트 예산 제약을 준수하면서, 에이전트의 기대 리턴을 최소화하는 것입니다. 이는 공격자 손실 함수의 페널티 항으로 공식화됩니다.

2. 훈련 절차

훈련 과정(그림 1 및 알고리즘 1에 설명됨)은 세 단계로 구성됩니다.

사전 훈련(Pretraining): DPT를 초기화하고, 원래의 DPT 방식과 유사하게 깨끗한 컨텍스트 데이터로부터 최적의 행동을 예측하도록 지도 학습을 통해 훈련합니다.
적대적 훈련(Adversarial Training): 이것이 핵심적인 기여입니다. 에이전트( $\pi_\theta$ $π_{θ}$ )와 공격자 집단( $\pi^\dagger_{\phi_i}$ $π_{ϕ_{i}}^{†}$ )이 동시에 최적화됩니다:
- 공격자 업데이트: 각 태스크(task)에 대해 공격자는 오염된 궤적(trajectories)을 생성합니다. 공격자 파라미터 $\phi$ 는 예산 제약 하에서 에이전트의 후회(regret)를 최대화(리턴을 최소화)하도록 REINFORCE 알고리즘을 사용하여 업데이트됩니다.
- 에이전트 업데이트: 에이전트는 상호작용 중에 수집된 오염된 컨텍스트 $D^\dagger$ 가 주어졌을 때 최적의 행동(오라클이 제공)을 예측하도록 훈련됩니다.
- 이 과정은 $N$ 라운드 동안 반복되며, 이를 통해 에이전트는 포이즌된 입력에도 불구하고 최적의 행동을 추론하는 "교정(correction)" 메커니즘을 학습할 수 있습니다.
인컨텍스트 학습 (테스트 시점): 훈련된 에이전트는 포이즌된 보상이 존재하는 새로운 환경에 배치됩니다. 에이전트는 적응형 공격자(adaptive attackers)에 대한 강건성을 지원하기 위해 매 타임스텝마다 컨텍스트를 동적으로 업데이트합니다.

이 프레임워크는 비적응형 공격자(에이전트의 이력을 사용하지 않음)와 적응형 공격자(에이전트의 과거 상호작용을 활용하기 위해 트랜스포머 아키텍처를 사용함)를 모두 지원합니다.

주요 기여

새로운 공격 모달리티: 본 논문은 메타-RL(학습하는 법을 배우는 것)의 맥락에서 보상 포이즈닝을 처음으로 연구했습니다. 이는 공격자가 인컨텍스트 학습 과정을 방해하기 위해 컨텍스트를 오염시키는 테스트 시점 공격을 정형화하며, 이는 전통적인 학습 시점의 정책 오염과는 구별됩니다.
AT-DPT 프레임워크: 저자들은 공격자 집단과 희생자 에이전트를 동시에 최적화하는 실용적인 적대적 훈련 프로토콜을 도입했습니다. 이를 통해 에이전트는 인컨텍스트에서 데이터 오염에 강건한 학습 알고리즘을 구현할 수 있게 됩니다.
실험적 검증: 본 연구는 멀티 암드 밴딧(multi-armed bandits), 선형 밴딧(linear bandits), 그리고 MDP(Darkroom2 및 Miniworld 환경 포함)에 걸쳐 체계적인 평가를 수행하여, AT-DPT를 기존 알고리즘(TS, UCB, PPO, Q-learning) 및 강건한 베이스라인(crUCB, RTS)과 비교합니다.

실험 결과

실험 결과, AT-DPT는 다양한 포이즈닝 수준( $\epsilon = 0.1, 0.2, 0.4$ )과 공격 예산 하에서 기존 베이스라인을 크게 상회하는 성능을 보여주었습니다.

밴딧 설정: AT-DPT는 crUCB나 RTS와 같은 강건한 베이스라인과 비교했을 때 가장 낮은 누적 후회(cumulative regret)를 달-성했습니다. 또한, AT-D de가 다른 알고리즘(예: TS)을 대상으로 훈련된 공격자를 상대로도 잘 작동하는 강력한 일반화 능력을 보여주었습니다.
적응형 vs 비적응형: 결과는 트레이드오프를 나타냅니다. 적응형 공격자에 대해 훈련된 AT-DPT는 적응형 위협에는 더 잘 대응하지만, 비적응형 위협에 대해서는 비적응형 위협만을 대상으로 훈련된 모델보다 약간 낮은 성능을 보였습니다. 그러나 모든 경우에서 표준 베이스라인들을 능가했습니다.
MDP 설정: Darkroom2 및 Miniworld 환경에서 AT-DPT는 공격 상황에서도 높은 에피소드 리턴을 유지하는 반면, 표준 RL 알고리즘(NPG, Q-learning) 및 동결된(frozen) DPT 모델은 상당한 성능 저하를 겪습니다. 특히, AT-DPT는 더 크고 복잡한 환경으로 일반화될 수 있음을 보여주어 확장성을 시사했습니다.
차하위 데몬스트레이션(Suboptimal Demonstrations): 본 논문은 AT-DPT가 훈련 데이터 내의 소량(예: 10-30%)의 차하위 데몬스트레이션을 견딜 수 있음을 언급했으나, 이 비율이 증가함에 따라 성능이 저하됩니다.

의의 및 주장

본 논문의 주요 의의는 데이터 오염에 본질적으로 강건한 학습 알고리즘을 설계하는 원칙적인 접근법을 확립하는 데 있습니다.

메타-RL 관점: 단일 환경을 위한 특정 정책을 배우는 데 집중하는 이전 연구들과 달리, 본 연구는 알고리즘 자체를 배우는 데 집중합니다. 태스크 분포에 대한 사전 지식(prior)을 활용함으로써, 에이전트는 그럴듯한 패턴과 그럴듯하지 않은 오염 패턴을 구분하여 적대적 노이즈를 효과적으로 필터링할 수 있습니다.
일반화: 결과는 트랜스포머 기반 정책이 데이터 오염에 강건한 알고리즘을 구현할 수 있음을 시사하며, 이는 컨텍스트가 오염될 수 있는 환경(예: RAG 메커니즘을 통한)에서 ICRL 에이전트(LLM 기반 에이전트 등)를 안전하게 배포하기 위한 유망한 방향을 제시합니다.
이론적 통찰: 저자들은 AT-DPT가 에이전트가 "교정된" 사후 샘플링(corrected posterior sampling)을 구현하는 내쉬 균형(Nash equilibrium)을 근사한다고 가정합니다. 근저에 있는 보상의 평균이 오염 과정 하에서도 식별 가능한 상태라면, 에이전트는 강건한 성능을 달성할 수 있습니다.

저자들은 이중 최적화(bi-level optimization)가 근사적 균형으로 완전히 수렴한다는 것에 대한 완전한 이론적 보장은 향후 과제로 남겨두며 신중한 입장을 취했습니다. 또한 현재 방법론이 훈련을 위해 오라클이 제공하는 최적의 행동에 의존한다는 한계점을 인정하면서도, 차하위 데몬스트레이션에 대해서는 어느 정도의 회복력을 보여주었다고 명시했습니다.