🤖 AI

Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning

Seirênes 는 단일 모델을 통해 방해가 되는 맥락을 동시에 생성하고 그 안에서 문제를 해결하도록 훈련함으로써 LLM 추론의 견고성을 강화하는 적대적 자기 플레이 강화 학습 프레임워크로, 맥락적 간섭을 다양한 벤치마크에서 성능을 향상시키고 다른 모델의 취약점을 드러내는 공진화 커리큘럼으로 변환합니다.

원저자: Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Xinbo Gao, Jing Zhang

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Xinbo Gao, Jing Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 복잡하고 까다로운 수학 퍼즐을 푸는 법을 가르치기 위해 재능은 있지만 약간 순진한 학생을 훈련시키고 있다고요. 보통은 당신은 그 학생에게 방해 요소가 전혀 없는 깔끔하고 완벽한 문제들을 제시합니다. 그 학생은 그런 특정 퍼즐을 푸는 데 능숙해지지만, 만약 질문 속에 약간의 혼란스러운 정보를 슬쩍 섞어 넣는다면, 그들은 속아 넘어가 실패할 수 있습니다.

이 논문은 Seirênes라는 새로운 훈련 방법을 소개합니다. 이 이름은 그리스 신화의 사이렌에서 유래했는데, 사이렌은 아름다운 노래로 선원들을 잘못된 길로 유혹했죠. Seirênes 는 단순히 학생에게 더 어려운 문제를 주는 대신, 학생을 서로 다른 두 사람으로 변모시켜 같은 뇌 안에서 서로 대결하는 게임을 하도록 합니다.

다음은 간단한 비유를 통해 이 게임이 어떻게 작동하는지 설명한 것입니다:

두 가지 역할

AI 모델은 동시에 두 가지 역할을 수행합니다:

교활한 자 (적대자): 이 역할은 정상적으로 보이지만 함정이 포함된 수학 문제를 작성하려고 노력합니다. 그 함정은 무작위적인 말장난이 아니라, 해결자를 잘못된 길로 이끄는 교묘하고 그럴듯해 보이는 힌트입니다. 마치 마술사가 실제 해결책에서 당신을 돌리게 만드는, 거의 논리적으로 들리는 단서를 주는 것과 같습니다.
해결자 (추론자): 이 역할은 교활한 자가 혼란스러운 힌트를 추가했더라도 수학 문제를 풀려고 노력합니다. 해결자는 '노이즈'를 무시하고 그 이면에 숨겨진 진정한 논리를 찾아내야 합니다.

훈련 루프: 자기 개선 사이클

전통적인 훈련에서는 학생에게 단순히 더 많은 연습 문제를 주는 경우가 많습니다. 하지만 Seirênes 에서는 훈련이 지속적인 군비 경쟁과 같습니다:

1 단계: 교활한 자는 문제를 보고 해결자를 혼란스럽게 할 오해의 소지가 있는 힌트를 고안해 냅니다.
2 단계: 해결자는 그 오해의 소지가 있는 힌트가 포함된 상태에서 문제를 해결하려고 시도합니다.
3 단계: 만약 해결자가 속아 넘어가면, 교활한 자는 교활함을 인정받아 '보상'(점수) 을 받습니다. 반면 해결자가 함정을 간파하고 올바르게 문제를 풀면, 해결자가 보상을 받습니다.
4 단계: 모델은 이 과정에서 학습합니다. 해결자는 함정을 찾아내는 데 더 능숙해지고, 교활한 자는 더 새롭고 어려운 함정을 고안하는 데 더 능숙해집니다.

두 역할이 동일한 모델이 수행하기 때문에, 그들은 함께 진화합니다. 해결자가 더 똑똑해질수록 교활한 자는 이를 따라가기 위해 더 똑똑해져야 하고, 이는 결국 해결자를 더욱 견고하게 만듭니다.

왜 이것이 중요한가

이 논문은 표준 AI 모델은 종종 '취약하다'고 밝혔습니다. 이들은 깨끗한 환경에서는 수학 문제를 완벽하게 풀 수 있지만, 관련이 없거나 약간 오해의 소지가 있는 문장을 하나 추가하면 그 성능이 크게 떨어집니다. 그들은 깊은 논리보다는 표면적인 패턴을 따르는 경향이 있습니다.

Seirênes 는 모델이 방해 요소를 무시하도록 훈련시킴으로써 이를 해결합니다. 이는 마치 무술가를 완벽한 상대와 싸우게 하는 것뿐만 아니라, 넘어뜨리거나 주의를 분산시키거나 가짜 동작으로 혼란을 주려는 상대와 싸우게 훈련시키는 것과 같습니다.

결과

연구진들은 이 방법을 고수준 수학 경시대회와 같은 여러 어려운 수학 벤치마크에서 테스트했습니다. 그 결과 다음과 같은 것을 발견했습니다:

강화된 추론 능력: Seirênes 로 훈련된 모델은 어떤 속임수 없이도 스스로 수학 문제를 푸는 데 훨씬 더 능숙해졌습니다. 표준 훈련 방법에 비해 약 7~10 퍼센트 포인트만큼 향상되었습니다.
향상된 방어력: 모델들은 속임수에 훨씬 더 잘 견디게 되었습니다. 혼란스러운 정보로 테스트했을 때, 다른 모델들처럼 쉽게 무너지지 않았습니다.
보편적인 약점: 흥미롭게도, 40 억 개의 파라미터를 가진 작은 모델로 훈련된 '교활한 자'는 GPT 나 Gemini 와 같은 세계 최고 수준의 폐쇄형 소스 AI 모델들조차 혼란에 빠뜨릴 수 있었습니다. 이로 인해 그들의 정확도가 약 4~5 포인트 감소했습니다. 이는 이 방법이 이러한 모델들의 사고 방식에서 실제 '맹점'을 찾아냈음을 증명합니다.

결론

Seirênes 는 AI 가 혼란스럽고 방해 요소가 많은 세상을 처리하도록 가르쳐 AI 를 더 똑똑하게 만드는 방법입니다. 깔끔한 질문에 대한 답을 단순히 암기하는 대신, AI 는 누군가가 속이려 할지라도 진실을 깊이 파헤치는 법을 배웁니다. 이는 쉽게 산만해지는 약점을 더 강하고 신뢰할 수 있는 추론 능력을 구축하기 위한 훈련 도구로 전환시키는 것입니다.

기술 요약: Seirênes

문제 정의

검증 가능한 보상을 통한 강화 학습 (RLVR) 이 대규모 언어 모델 (LLM) 의 추론 능력을 크게 향상시켰음에도 불구하고, 이러한 모델들은 문맥적 취약성이라는 치명적인 약점을 보입니다. 강력한 추론 모델들은 불필요한 정보, 관련 없는 지시사항, 또는 우연한 상관관계로 특징지어지는 비이상적인 문맥에 직면할 때 종종 실패합니다. 기존 증거에 따르면 수학 문제의 구조적 재구성은 정확도를 27–31% 감소시키고, 관련 없는 검색 결과는 성능을 96% 에서 65% 로 떨어뜨릴 수 있습니다. 기존 자기 플레이 (self-play) 프레임워크들은 일반적으로 작업 생성이나 해결책 검증을 공동 진화시키는 데 초점을 맞추어, 근본적인 작업은 고정된 채로 유지하지만 작업 주변의 문맥이 교란될 때 추론 과정의 취약성은 해결하지 못합니다.

방법론: Seirênes 프레임워크

저자들은 Seirênes를 제안합니다. 이는 문맥적 간섭을 실패 모드로서 내부 훈련 신호로 변환하는 자기 플레이 RL 프레임워크입니다. 이 시스템은 단일 정책이 두 가지 뚜렷한 역할을 수행하는 파라미터 공유 적대적 자기 플레이 루프를 사용합니다:

적대자 (The Adversary): 추론 경로를 방해하도록 설계된 그럴듯하지만 오해의 소지가 있는 문맥적 힌트 (산만 요소) 를 생성합니다.
추론자 (The Reasoner): 이러한 교란으로부터 핵심 작업을 식별하고 핵심 논리를 복원하여 원래 문제를 해결하려 시도합니다.

핵심 메커니즘

이 프레임워크는 역할 프롬프트에 조건부인 단일 공유 파라미터 정책 ( $\pi_\theta$ ) 에서 작동합니다. 각 훈련 질문 $q$ 에 대해 시스템은 세 단계 롤아웃 번들을 실행합니다:

R1 (클린 롤아웃): 추론자가 간섭 없이 $q$ 를 해결하여 기준 성공률 ( $\hat{p}(q)$ ) 을 확립합니다.
R2 (적대적 힌트 생성): 적대자가 자연스럽지만 오해의 소지가 있도록 의도된 $G_2$ 개의 힌트 후보 ( $h_k$ ) 를 생성합니다.
R3 (힌트 조건부 롤아웃): 추론자가 $q \oplus h_k$ (힌트가 추가된 질문) 를 해결하려 시도합니다.

훈련 신호 및 업데이트

이 프레임워크는 역할별 신용 의미론을 유지하기 위해 각 역할에 대한 별도의 업데이트 스트림을 사용하는 **그룹 상대 정책 최적화 (GRPO)**를 활용합니다:

적대자 보상: 적대자는 유발하는 성능 저하에 기반하여 보상을 받습니다. 보상은 클린 성공률과 힌트 조건부 성공률 사이의 차이로 정의됩니다: $\hat{R}_{Adv} = \hat{p}(q) - \hat{p}(q, h_k)$ . 이 공식은 보상을 자연스럽게 경계 짓고, 모델이 클린 문제는 해결할 수 있지만 특정 산만 요소 하에서는 실패하는 "적정 지점"의 질문들에 학습을 집중시킵니다.
추론자 보상: 추론자는 핵심 능력을 유지하기 위해 클린 궤적과 견고성을 학습하기 위해 힌트 조건부 궤적 모두로 훈련됩니다.
오케스트레이션: 세 단계 루프의 계산 비용을 관리하기 위해 Seirênes은 스트림별 대기 큐와 경계 FIFO 버퍼를 사용합니다. 이는 업데이트 스트림을 분리하여 클린 추론, 적대적 생성, 견고성 복원에서의 기울기가 간섭 없이 비동기적으로 처리되도록 합니다. 또한, 숙달 인식 샘플링 메커니즘은 모델이 클린 및 적대적 조건 모두에서 숙달한 질문들을 우선순위에서 낮추어 낭비되는 계산을 줄입니다.

주요 기여

적대적 공동 진화 프레임워크: 하나의 모델이 오해의 소지가 있는 힌트를 생성하는 적대자와 이를 극복하는 추론자로 공동 진화하는 자기 플레이 시스템인 Seirênes 의 도입으로, 문맥적 취약성을 적응형 커리큘럼으로 전환합니다.
파라미터 공유 설계: 역할 조건부만으로 구분되는 단일 정책을 사용하여 적대적 루프의 엔드투엔드 훈련을 가능하게 하는 새로운 아키텍처로, 역할별 보상 신호와 효율적인 오케스트레이션 전략과 결합됩니다.
실증적 검증: 4B 에서 30B 파라미터까지의 모델 규모에 걸쳐 일곱 가지 수학 추론 벤치마크에서 표준 RL 및 협력적 힌트 기준선보다 일관된 개선을 보여주는 광범위한 실험.

실험 결과

이 논문은 Qwen2.5-7B, Qwen3-4B, Qwen3-30B 백본을 사용하여 일곱 가지 벤치마크 (AIME 2024–2026, IMO-Bench, Minerva Math, OlympiadBench, HMMT 2026) 에서 Seirênes 을 평가했습니다.

성능 향상: Seirênes 은 각각 4B, 7B, 30B 모델에 대해 지시 튜닝 기준선 대비 평균 +10.2, +9.1, +7.2점의 개선을 달성했습니다.
견고성: Seirênes 으로 훈련된 모델들은 구조적 교란 (Math-Perturb) 과 생성된 산만 요소 (GSMIR, MMLU-Perturb) 에 대해 협력적 힌트 기준선보다 낮은 정확도 저하를 보이며 우수한 견고성을 나타냈습니다.
크로스-모델 공격 능력: 4B Seirênes 모델이 생성한 적대적 힌트는 최상위 폐쇄형 소스 모델 (GPT-5.1 및 Gemini 3 Flash) 의 성능을 현저히 저하시켜 평균적으로 정확도를 약 4–5 점 감소시켰습니다. 이는 학습된 산만 요소가 모델 특유의 특징이 아닌 근본적인 추론 결함을 표적한다는 것을 시사합니다.
절차 제거 연구 (Ablation Studies):
- 예산 제어: 성취는 단순히 계산량 증가 때문이 아닙니다. Seirênes 은 동등한 월클럭 시간을 가진 "롤아웃 매칭" DAPO 기준선보다 우수한 성능을 발휘합니다.
- 정적 vs 진화형: 정적 힌트 (오프라인 생성) 는 모델이 이를 우회하는 법을 배우면서 효과가 정체되지만, Seirênes 의 진화형 적대적 분포는 지속적인 압력과 더 높은 최종 정확도를 유지합니다.

중요성 및 주장

저자들은 Seirênes 이 정적 파이프라인을 통한 모델 최적화에서 지속적인 개선을 주도하는 도전 과제 생성에의 능동적 참여로의 전환을 나타낸다고 주장합니다. 문맥적 간섭을 단순한 스트레스 테스트가 아닌 건설적인 훈련 신호로 취급함으로써, 이 프레임워크는 모델 능력을 표면적인 패턴 매칭이 아닌 견고한 근본 추론에 고정시킵니다.

이 논문은 Seirênes 이 근본적인 작업, 검증자, 테스트 시간 인터페이스는 변경하지 않고 입력 문맥만 수정한다고 강조합니다. 결과적으로 생성된 모델은 특수화된 견고성 모듈이 아닌 더 강력한 독립형 추론자로 최적화됩니다. 이 연구는 그럴듯하지만 오해의 소지가 있는 힌트의 "유혹"(그리스 신화의 세이렌을 연상시킴) 이 모델을 취약한 추론 단계를 넘어 이동하도록 강제하여, 잡음이나 산만 요소로 가득 찬 현실 세계 시나리오에서의 복원력을 향상시키는 데 활용될 수 있음을 시사합니다.