SWE-Fuse: Empowering Software Agents via Issue-free Trajectory Learning and Entropy-aware RLVR Training

이 논문은 실제 문제 해결 성능을 저해하는 부정확한 이슈 설명의 노이즈를 완화하고 학습 안정성을 높이기 위해 이슈 없는 궤적 학습과 엔트로피 기반의 RLVR 훈련을 결합한 'SWE-Fuse' 프레임워크를 제안하며, 이를 통해 SWE-bench Verified 벤치마크에서 기존 최첨단 모델 대비 획기적인 성능 향상을 달성했음을 보여줍니다.

핵심

🍳 1. 문제: "요리사"가 엉뚱한 재료를 쓰는 이유

지금까지 개발된 AI 프로그래머들은 "이 요리에 문제가 생겼어 (버그), 고쳐줘"라고 말하면 고쳐주려고 노력했습니다. 하지만 현실은 조금 엉망이었습니다.

• 문제 상황: 고객 (개발자) 이 "소금 맛이 너무 짜요"라고 말했는데, AI 는 "아, 소금 문제를 고치자"라고 생각하다가 실수로 "설탕을 넣는 법"을 고쳐버리는 경우가 많았습니다.
• 원인: 실제 세상 (GitHub) 에 있는 버그 설명은 매우 불완전하거나, 때로는 AI 를 혼란스럽게 하는 잘못된 정보 (노이즈) 가 섞여 있습니다. AI 는 이 잘못된 설명을 믿고 엉뚱한 길로 헤매게 됩니다.

🚀 2. 해결책: SWE-Fuse (스위-퓨즈) 의 마법

이 논문은 **"SWE-Fuse"**라는 새로운 훈련 방법을 제안합니다. 이 방법은 AI 를 두 가지 방식으로 동시에 훈련시켜서, 버그 설명이 없어도 스스로 문제를 찾아낼 수 있게 만듭니다.

① 첫 번째 단계: "설명 없이 요리하는 훈련" (Issue-free Trajectory Learning)

• 비유: 요리사에게 "이 요리는 짜요"라고 말해주지 않고, 그냥 "이 요리를 만들어봐. 실패하면 다시 해"라고만 시킵니다.
• 작동 원리: AI 는 버그 설명 없이 오직 **테스트 결과 (맛보기)**만 보고 단계별로 실수를 찾아냅니다.
  • "아, 소금 통을 열어봤는데 너무 짜네? 그럼 소금 양을 줄여야겠다."
  • 이렇게 설명 없이 스스로 추리하고 수정하는 과정을 반복하면, AI 는 잘못된 설명에 속지 않고 실제 문제 (맛) 에 집중하는 법을 배웁니다.

② 두 번째 단계: "호기심과 안정감의 균형" (Entropy-aware RLVR)

• 비유: 요리사가 새로운 레시피를 실험할 때, 너무 무서워서 아무것도 못 하거나, 너무 대담해서 요리를 망치는 것을 방지하는 스마트한 코치가 등장합니다.
• 작동 원리:
  • 호기심 (높은 엔트로피): AI 가 "어떻게 해야 할지 모르겠다"고 고민할 때는, 코치가 "괜찮아, 다양한 시도를 해봐!"라고 용기를 줍니다. (Exploration)
  • 안정감 (낮은 엔트로피): AI 가 "이게 정답이야!"라고 확신할 때는, 코치가 "조심해, 너무 급하게 바꾸지 마"라고 제동 걸며 안정성을 줍니다. (Stability)
  • 이 두 가지를 상황에 따라 자동으로 조절해서 AI 가 빠르게 배우면서도 실수를 줄이도록 돕습니다.

🏆 3. 결과: 작은 요리사도 거장이 되다

이 훈련을 받은 AI 는 놀라운 성과를 냈습니다.

• 기록: 80 억 개 (8B) 와 320 억 개 (32B) 의 파라미터를 가진 모델들이, 기존에 가장 잘하던 다른 AI 들보다 훨씬 높은 점수를 받았습니다.
• 비유: 작은 식당 (8B 모델) 이 거대 호텔 (1000 억 개 파라미터 모델) 이나 버금가는 실력을 보여주게 된 것입니다.
• 특이 사항: 버그 설명이 아예 없는 상황에서도, AI 가 스스로 "아, 여기가 문제구나"라고 찾아내서 고치는 능력이 크게 향상되었습니다.

💡 요약: 왜 이 기술이 혁신적인가?

기존의 AI 는 **"고객의 말 (버그 설명)"**만 믿고 움직였기 때문에, 고객이 말을 잘못하면 AI 도 길을 잃었습니다.

하지만 SWE-Fuse는 "고객의 말"과 "스스로 실험하는 과정"을 섞어서 훈련시켰습니다. 마치 요리사에게 "소금 맛이 짜요"라는 말만 주는 게 아니라, 직접 맛을 보고 고치는 훈련을 시켜서, 설명이 없어도 스스로 문제를 해결할 수 있는 진정한 '프로' 요리사를 만든 것입니다.

이 기술은 앞으로 AI 가 더 작고 가벼운 컴퓨터에서도 복잡한 소프트웨어 문제를 스스로 해결할 수 있는 길을 열었습니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 소프트웨어 엔지니어링 에이전트들은 SWE-bench 과 같은 벤치마크에서 뛰어난 성능을 보이고 있지만, **실제 현실 세계의 데이터셋에서 발생하는 '이슈 설명 (Issue Description) 의 불일치 및 노이즈'**라는 근본적인 문제에 직면해 있습니다.

• 이슈 설명과 해결책의 불일치: 실제 GitHub 이슈 데이터셋 (예: SWE-smith 등) 에서는 이슈 설명이 실제 버그나 수정 사항 (Gold Patch) 과 일치하지 않는 경우가 많습니다. 예를 들어, 설명은 경고 처리 (Warning handling) 에 관한 문제인 반면, 실제 패치는 TIFF 이미지 인코딩 로직을 수정하는 등 전혀 다른 부분을 건드리는 경우가 있습니다.
• 에이전트의 오도: 이러한 불일치는 에이전트를 잘못된 방향으로 유도하여 문제 해결 능력을 저하시키고, 학습 과정에 노이즈와 모호성을 초래합니다.
• 고품질 데이터 부족: 정확한 이슈-PR 쌍을 대규모로 확보하기 어렵고, 많은 데이터가 빈 문제 설명을 포함하고 있어 학습의 질을 떨어뜨립니다.

2. 제안된 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 SWE-Fuse라는 새로운 학습 프레임워크를 제안했습니다. 이는 이슈 설명이 포함된 샘플과 이슈 설명이 없는 (Issue-free) 샘플을 융합하여 에이전트를 학습시키는 구조입니다.

핵심 모듈 1: 이슈 프리 (Issue-free) 기반 궤적 학습 (Trajectory Learning)

이 모듈은 모델이 오해의 소지가 있는 이슈 설명에 의존하지 않고, 단계별 디버깅 능력을 학습하도록 설계되었습니다.

• 다단계 궤적 구성: Gemini 3 와 같은 강력한 교사 모델을 사용하여 GitHub 리포지토리 환경에서 테스트 케이스 실패를 해결하는 다단계 추론 - 행동 (Reasoning-Action) 궤적을 생성합니다.
• 데이터 필터링:
  • Git 해킹 방지: 에이전트가 git log나 git show 등을 통해 정답 (Ground Truth) 을 유출받는 것을 방지하기 위해 커밋 로그를 필터링합니다.
  • 규칙 기반 필터링: 상호작용 라운드 수, 추론 단계 포함 여부, bash 명령어 포맷 등을 검증하여 고품질 데이터만 선별합니다.
• 이슈 프리 지도 학습 (SFT): 일부 데이터에는 명시적인 이슈 설명을 제거하고 테스트 케이스만 제공합니다. 이를 통해 모델이 설명에 의존하지 않고 시스템적 디버깅을 통해 문제를 파악하고 해결하는 능력을 학습하게 합니다.

핵심 모듈 2: 엔트로피 인식 RLVR 학습 (Entropy-aware RLVR Training)

검증 가능한 보상 (Verifiable Reward) 을 기반으로 한 강화 학습 (RLVR) 에 엔트로피 (Entropy) 개념을 도입하여 학습 안정성을 높였습니다.

• 그룹 샘플링 및 상대적 이점 (RLOO): 동일한 프롬프트에 대한 여러 샘플을 생성하고, 그룹 내 다른 샘플들의 평균 보상을 기준으로 이점 (Advantage) 을 계산하여 분산을 줄입니다.
• 엔트로피 적응형 클리핑 (Entropy-Adaptive Clipping):
  • 높은 엔트로피 (불확실성 높음): 모델이 불확실할 때는 탐색 (Exploration) 을 장려하기 위해 클리핑 (Clipping) 범위를 완화합니다.
  • 낮은 엔트로피 (확신 높음): 모델이 확신할 때는 학습 안정성을 위해 클리핑 범위를 엄격하게 적용하여 급격한 분포 이동을 방지합니다.
  • 이 메커니즘은 학습의 수렴 속도를 높이고 성능을 안정화합니다.

3. 주요 기여 (Key Contributions)

1. SWE-Fuse 프레임워크: 이슈 설명의 노이즈를 완화하고 단계별 디버깅 능력을 강화하기 위해 '이슈 기반'과 '이슈 프리' 샘플을 융합한 최초의 학습 프레임워크입니다.
2. SWE-Fuse 궤적 데이터셋: 14,000 개의 검증된 고품질 다단계 추론 궤적 (Trajectory) 을 포함하는 새로운 데이터셋을 공개했습니다. 이 데이터셋은 이슈 설명이 있는 경우와 없는 경우를 모두 포함합니다.
3. 엔트로피 기반 RLVR: 학습 중 모델의 불확실성을 실시간으로 감지하여 클리핑 전략을 동적으로 조정하는 새로운 강화 학습 기법을 제안했습니다.

4. 실험 결과 (Results)

SWE-Fuse 는 SWE-bench Verified 벤치마크에서 광범위한 실험을 통해 그 유효성을 입증했습니다.

• 성능 기록:
  • 8B 모델: 기존 최상위 오픈소스 8B 모델 대비 **43.0%**의 해결율 (Solve Rate) 을 기록하여, 이전 최상위 모델 대비 9.1% 향상된 성능을 보였습니다.
  • 32B 모델: 32B 파라미터 모델 중 **60.2%**의 해결율을 달성하여, 기존 최상위 모델 (53.9%) 보다 6.3% 높은 성능을 보였습니다.
  • TTS (Test-Time Scaling) 적용 시: 테스트 시간 확장 (TTS@8) 을 적용하면 8B 모델은 49.8%, 32B 모델은 **65.2%**까지 성능이 향상되었습니다.
• 비교 분석:
  • SWE-Fuse-32B 는 1T(1 조) 파라미터 규모의 모델 (Qwen3-Coder-480B 등) 과 유사하거나 더 나은 성능을 보여주며, 비용 효율적인 소형 모델의 가능성을 입증했습니다.
  • 폐쇄형 모델 (Claude-4.5-Sonnet 등) 에 비해서는 다소 낮지만, 오픈소스 모델 중에서는 압도적인 1 위를 차지했습니다.
• 데이터 분석:
  • 학습 데이터 양이 증가함에 따라 성능이 비례하여 향상되었습니다.
  • 이슈 프리 샘플 비율: 전체 데이터의 **25~50%**를 이슈 프리 샘플로 구성했을 때 최적의 성능을 보였습니다. 이는 이슈 설명의 노이즈를 피하면서도 구체적인 문제 해결 능력을 유지하는 균형점을 찾았음을 의미합니다.

5. 의의 및 결론 (Significance)

• 실제 환경 적응력 향상: SWE-Fuse 는 실제 소프트웨어 개발 환경에서 흔히 발생하는 '부정확한 이슈 설명'이라는 문제를 인식하고, 이를 극복할 수 있는 학습 전략을 제시했습니다.
• 효율적인 에이전트 학습: 거대 모델 없이도 고품질 궤적 학습과 엔트로피 기반 RLVR 을 통해 소형 모델 (8B~32B) 이 복잡한 소프트웨어 공학 작업을 해결할 수 있음을 증명했습니다.
• 재현성 있는 디버깅: 사례 연구 (Case Study) 에서 SWE-Fuse 는 Claude-4-Sonnet 이 실패한 복잡한 이슈를, 테스트 케이스를 수정하지 않고 재현 스크립트 생성 및 단계적 디버깅을 통해 성공적으로 해결했습니다. 이는 에이전트가 단순히 패치를 생성하는 것을 넘어, 문제의 본질을 이해하고 검증하는 능력을 갖췄음을 보여줍니다.

결론적으로, SWE-Fuse 는 소프트웨어 에이전트 학습에서 데이터의 질적 문제 (노이즈 있는 이슈 설명) 를 해결하고, 소형 모델의 성능 한계를 돌파할 수 있는 새로운 패러다임을 제시한 획기적인 연구입니다.