💬 NLP

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

이 논문은 코딩 에이전트 루프와 함수 호출 사이의 구조적 유사성을 활용하여 SWE-Bench와 같은 벤치마크에서 코딩 에이전트의 성능을 크게 향상시키는 동시에, 표준 사후 학습에 의해 흔히 저하되는 일반적인 코딩 및 도구 사용 능력을 보존하는 자기 지도 학습 방식인 함수 인지형 FIM(function-aware fill-in-the-middle) 중간 학습을 소개한다.

원저자: Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

게시일 2026-07-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 지저분한 코드 도서관에서 버그를 수정하는 로봇을 가르치고 있다고 상상해 보세요. 보통 우리는 로봇에게 책을 처음부터 끝까지, 왼쪽에서 오른쪽으로 읽도록 가르칩니다. 하지만 문제가 하나 있습니다. 로봇이 실제로 버그를 고치러 갈 때는 단순히 앞으로만 읽지 않는다는 점입니다. 로봇은 한 단계를 밟고, 일어난 일(예를 들어, 도구가 에러를 발생시킴)을 관찰한 다음, 다음에 무엇을 할지 결정합니다. 즉, **행동(Action) → 관찰(Observation) → 다음 단계(Next Step)**라는 루프를 따릅니다.

이 논문의 저자들은 매우 흥สนใจ로운 점을 발견했습니다. 이 로봇의 루프는 일반적인 컴퓨터 코드의 **함수 호출(function call)**과 정확히 일치한다는 것입니다.

로봇의 행동은 하나의 함수가 다른 함수를 호출하는 것과 같습니다.
로봇의 관찰은 그 함수가 값을 반환(return)하는 것과 같습니다.
로봇의 다음 단계는 그 값을 사용하는 나머지 코드와 같습니다.

핵심 아이디어는 무엇일까요? 저자들은 로봇에게 코드를 단순히 정방향으로 읽는 대신, 이러한 함수 호출을 이용한 "빈칸 채우기" 게임을 가르쳤습니다. 그들은 이를 **함수 인지형 중간 채우기(Function-Aware Fill-in-the-Middle, FIM) 미드 트레이닝(Mid-Training)**이라고 부릅니다.

게임의 규칙: "사라진 조각 맞추기"

어떤 이야기 속에서 주인공(호출자, caller)이 친구(피호출자, callee)에게 어떤 과업을 요청했는데, 그 친구가 실제로 수행한 작업 내용이 숨겨져 있다고 상상해 보세요. 로봇은 앞뒤 문맥만을 바탕으로 친구가 무엇을 했는지 추측하고, 왜 그렇게 했는지 설명해야 합니다.

이 게임을 효과적으로 만들기 위해, 저자들은 단순히 무작위로 단어를 숨긴 것이 아닙니다. 그들은 코드의 특수한 지도인 "프로그램 의존성 그래프(Program Dependency Graph)"를 사용하여 완벽한 퍼즐을 찾아냈습니다. 그들은 다음과 같은 조건을 갖춘 함수들을 찾았습니다:

충분히 복잡하여 좋은 도전 과제가 될 수 있는 것 (너무 쉽지도, 불가능하지도 않은 수준).
충분히 예측 가능하여 로봇이 주변의 단서들을 통해 실제로 파악할 수 있는 것.

또한, 로봇이 빈 코드를 작성하기 전에 "추론 노트(Chain-of-Thought)"를 먼저 쓰도록 하여, 마치 인간 프로그래머처럼 행동하기 전에 먼저 생각하도록 강제했습니다.

결과: 정말 효과가 있을까?

저자들은 세 가지 서로 다른 로봇 두뇌(모델)를 대상으로 테스트를 진행했습니다. Qwen2.5-Coder 제품군 중 두 모델(70억 및 140억 파라미터)과 새로운 Qwen3 제품군 중 하나(80억 파라미터)입니다. 이 로봇들은 968개의 실제 세계 Python 코드 저장소에서 가져온 26억 개의 토큰(단어 및 기호)으로 구성된 방대한 데이터셋으로 훈련되었습니다.

결과는 다음과 같았습니다:

버그 수정 능력 향상: 실제 소프트웨어 문제를 시뮬레이션하는 유명한 벤치마크인 SWE-Bench-Verified에서 로봇들의 성능이 크게 향상되었습니다.
- 7B 모델은 +2.8% 향상되었습니다.
- 14B 모델은 +3.0% 향상되었습니다.
- 8B 모델은 +3.2% 향상되었습니다.
쉬운 작업에서 더 높은 성과: 더 가벼운 버전의 테스트인 SWE-Bench-Lite에서는 향상 폭이 더 컸으며, 8B 모델은 **+5.4%**나 뛰어올랐습니다.
어디서나 통하는 방법: 이러한 개선은 로봇들이 이후에 다른 방식으로 훈련되었을 때도 나타났습니다. 이는 "중간 채우기(fill-in-the-middle)" 훈련이 나중에 어떻게 다듬어지더라도 유지되는 탄탄한 기초를 제공했음을 시사합니다.

놀라운 점: 다른 기술을 망가뜨리지 않음

보통 로봇을 특정 분야의 전문가(예: 버그 수정 에이전트)로 훈련시키면, 간단한 코드를 쓰거나 도구를 사용하는 등의 다른 능력을 잃어버리곤 합니다. 저자들도 이를 우려했습니다.

하지만, 이 "미드 트레이닝"은 오히려 로봇의 다른 기술들을 보존했습니다!

이 추가 훈련이 없었다면, 로봇은 스스로 코드를 쓰는 능력(LiveCodeBench와 같은 벤치마크)이 떨어졌을 것입니다.
하지만 FIM 훈련을 거친 로봇은 단순히 유지되는 것에 그치지 않고, 오히려 더 좋아졌습니다 (+LiveCodeBench에서 +11.1%).
훈련 데이터가 오직 Python 코드뿐이었음에도 불구하고, 로봇은 완전히 다른 맥락(τ-bench 및 BFCL)에서도 도구를 사용하는 능력이 향상되었습니다. 이는 로봇이 인과관계에 대해 생각하는 일반적인 "사고 방식"을 학습했음을 시사합니다.

명확히 선을 그은 부분 (부정된 사실들)

저자들은 이 방법이 무엇이 아닌지도 신중하게 밝혔습니다:

단순히 똑똑한 스승을 흉내 내는 것이 아닙니다: 저자들은 로봇이 훈련 데이터를 생성하는 데 도움을 준 강력한 AI(Gemini-3-Flash)의 답을 단순히 암기하는 것인지 테스트했습니다. 그 결과, 로봇이 스스로의 추론 노트를 생성할 때도 여전히 성능이 향상됨을 확인했습니다. 즉, 마법은 단순히 "스승을 복제하는 것"이 아니라, 게임의 구조 자체에 있습니다.
모든 것에 통하는 만능 열쇠는 아닙니다: 이 방법은 코드가 모듈화되어 있을 때(깔끔하게 함수 단위로 나뉘어 있을 때) 가장 잘 작동합니다. 만약 모든 것이 뒤섞인 거대하고 지저분한 스크립트라면, 명확한 "함수 호출" 퍼즐을 찾을 수 없기 때문에 이 방법은 효과가 떨어집니다.
아직 모든 언어에 입증된 것은 아닙니다: 훈련 데이터는 오직 Python이었습니다. 로봇이 다른 작업에서도 더 나은 모습을 보였지만, 저자들은 이 방법이 Java, C++, 또는 Rust에서도 작동한다는 것을 아직 증명하지 못했다고 인정했습니다.

얼마나 확신하는가?

저자들은 결과가 운이 아니라는 것을 증명하기 위해 서로 다른 랜덤 시드(random seed)를 사용하여 테스트를 세 번 실시했으므로, 자신들의 수치에 상당히 확신하고 있습니다. 그들은 개선 정도를 정밀하게 측정했으며(예: +2.8%, +3.0%), 로봇이 막혔을 때 일관되게 더 많은 문제를 해결하고 실수를 덜 한다는 것을 보여주었습니다.

그들은 이 "미드 트레이닝" 단계가 중요한 누락된 연결 고리라고 제안합니다. 이는 마치 로봇을 실제 세상으로 보내기 전, 특정한 종류의 체육관 운동을 시켜서, 자신의 다른 능력을 잃지 않으면서도 "행동하고, 관찰하고, 계속하는" 복잡한 루프를 처리할 수 있는 적절한 근육을 갖추게 하는 것과 같습니다.

기술 요약: 코딩 에이전트 파운데이션 모델을 위한 미드 트레이닝으로서의 함수 인식형 Fill-in-the-Middle (Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models)

문제 정의

실제 소프트웨어 엔지니어링 문제를 해결하도록 설계된 코딩 에이전트는 특정 조건부 구조에 의존합니다: 히스토리( $h_t$ )를 유지하고, 액션( $a_t$ )을 샘플링하며, 외부 관찰값( $o_{t+1}$ )을 수신한 후, 전체 트레이스(trace)를 바탕으로 추론을 지속하는 것입니다. 표준 코드 사전 학습(left-to-right next-token prediction)은 모델에게 코드를 노출시키기는 하지만, 이러한 특정한 "액션 $\to$ 관찰 $\to$ 지속" 루프를 최적화하는 데는 거의 기여하지 못합니다. 결과적으로, 베이스 모델의 사전 학습과 에이전트 포스트 트레이닝 파이프라인(예: SWE-Gym, R2E-Gym)의 요구 사항 사이에는 간극이 존재합니다.

또한, 코드 사전 학습에 사용되는 표준 Fill-in-the-Middle (FIM) 목적 함수는 다음 세 가지 이유로 에이전트의 추론과 일치하지 않습니다:

임의적인 경계: 무작위 스팬 마스킹(random-span masking)은 표현식 중간을 끊어버려 함수 수준의 의존성을 포착하지 못합니다.
추론의 부재: 표준 FIM은 중간 추론 단계(Chain-of-Thought) 없이 직접적인 생성을 요구하지만, 에이전트는 "생각 후 행동(think-then-act)" 패턴을 따릅니다.
희석된 신호: FIM이 수조 개의 무관한 토큰으로 구성된 대규모 사전 학습 과정에 녹아들 때, 그 구조적 선험 지식(structural prior)은 에이전트 포스트 트레이닝이 시작되기 전에 희석됩니다.

방법론

저자들은 사전 학습과 에이전트 포스트 트레이닝 사이에 삽입되는 전용 자기 지도 학습 단계인 **함수 인식형 FIM 미드 트레이닝(Function-Aware FIM Mid-Training)**을 제안합니다. 이 접근 방식은 일반 코드 내의 함수 호출 지점(function call site)과 코딩 에이전트의 단계(step) 사이의 구조적 동형성(structural isomorphism)을 활용합니다:

컨텍스트/히스토리: 의도를 설정하는 호출 전(pre-call) 코드.
액션/콜: 함수 호출 자체.
관찰/리턴: 호출된 함수(callee)가 계산한 값 (직계 스코프 외부).
지속: 리턴 값을 소비하는 다운스트림 코드.

핵심 구성 요소

함수 인식형 타겟 선택:
무작위 스팬 대신, 이 방법은 프로그램 의존성 그래프(PDG) 분석을 사용하여 **함수 단위(function granularity)**로 마스킹 타겟을 선택합니다.
- 복잡도 점수 ( $\hat{H}$ ): 코드 라인 수(LoC), McCabe 순환 복잡도, 중첩 깊이를 기반으로 내재적 난이도를 측정합니다.
- 추론 가능성 점수 ( $\hat{I}$ ): 호출자 인자, 피호출자 의존성, 타입 시그니처, docstring, 클래스 형제 관계로부터 신호를 집계하여 해당 함수가 컨텍스트로부터 얼마나 복구 가능한지를 측정합니다.
- 선택 기준: 타겟은 너무 사소하거나 전체 컨텍스트가 있어도 학습 불가능한 타겟을 배제하는 조화 평균 형태의 $\hat{H}$ 와 $\hat{I}$ 조합을 통해 선택됩니다.
사고 체인(Chain-of-Thought, CoT) 증강:
선택된 타겟에 대해, 모델은 함수 본문 이전에 단계별 근거(rationale)를 생성하도록 훈련됩니다.
- 생성: 프런티어 모델(Gemini-3-Flash)이 마스킹된 파일 컨텍스트만을 기반으로(정답 데이터 접근 없이) 근거와 후보 본문을 생성합니다.
- 필터링: 심사 모델(judge model)이 실행 가능성과 품질을 기준으로 쌍을 필터링합니다.
- 훈련 형식: 훈련 프롬프트는 <fim_prefix> ... <fim_suffix> ... <fim_middle> <rationale> <body> 형식을 따릅니다. 이는 모델이 "생각 후 행동" 구조를 학습하도록 강제합니다.
데이터 큐레이션:
코퍼스는 GitHub에서 가져온 968개의 오염되지 않은(decontaminated) Python 저장소(2.6B 토큰)로 구성됩니다. SWE-Bench 소스와 겹치는 저장소는 제거되었으며, 테스트 시점의 누출을 방지하기 위해 커밋은 SWE-Bench 베이스 커밋 이전으로 제한되었습니다.

주요 기여

구조적 유추: 함수 호출 지점을 인터넷 규모의 에이전트 관련 신호로 프레임화하여, 함수 단위 FIM을 자기 지도 학습의 선험 지식으로 제안했습니다.
파이프라인 설계: PDG 기반 선택, 복잡도-추론 가능성 이중 기준, 그리고 임베디드 CoT 근거를 결합한 미드 트닝 파이프라인을 구축했습니다.
강건성 검증: 다양한 모델 크기(Qwen2.5-Coder 7B/14B, Qwen3-8B), 다양한 포스트 트레이닝 파이프라인(R2E-Gym, SWE-Smith, SWE-Lego), 그리고 서로 다른 베이스 모델 제품군에 걸쳐 일관된 성능 향상을 입증했습니다.
교차 도메인 전이: Python 전용 미드 트레이닝 코퍼스가 비코딩 도구 사용 벤치마크( $\tau$ -bench, BFCL)의 성능을 개선하고, 에이전트 포스트 트레이닝 중에 일반적으로 저하되는 일반 코딩 능력(LiveCodeBench)을 보존함을 보여주었습니다.
오픈 릴리스: 968개 저장소의 오염되지 않은 코퍼스, 선택 파이프라인, 그리고 미드 트레이닝된 체크포인트를 공개합니다.

실험 결과

도메인 내 에이전트 성능

방법론은 SWE-Bench-Verified 및 SWE-Bench-Lite에서 평가되었습니다.

Qwen2.5-Coder-7B: Verified에서 +2.8%, Lite에서 +3.7% 향상 (포스트 트레이닝만 적용했을 때 대비).
Qwen2.5-Coder-14B: Verified에서 +3.0%, Lite에서 +4.0% 향상.
Qwen3-8B: Verified에서 +3.2%, Lite에서 +5.4% 향상.
파이프라인 독립성: R2E-Gym, SWE-Smith, SWE-Lego 파이프라인 모두에서 성능 향상이 관찰되어, 이 선험 지식이 특정 데이터 분포에 국한되지 않음을 나타냈습니다.

능력 보존 및 교차 도메인 전이

에이전트 포스트 트레이닝만 수행할 경우 비대상 능력(예: 14B 모델의 LiveCodeBench 점수가 13.1점 하락)이 크게 저하되는 것으로 나타났습니다.

복구: 포스트 트레이닝 전 미드 트레이닝을 추가하면 LiveCodeBench 성능이 +11.1점 회복되어, 인스트럭션 튜닝의 천장(ceiling)에 거의 근접했습니다.
도구 사용: 코퍼스에 Python 코드만 포함되어 있고 도구 사용 궤적(trajectory)은 없었음에도 불구하고, 미드 트레이닝은 $\tau$ -bench(+3.9)와 BFCL(+2.4)의 성능을 개선했습니다. 이는 함수 호출의 귀납적 편향(inductive bias)이 일반적인 도구 사용 추론으로 전이됨을 보여주는 증거입니다.

행동 분석

에이전트 궤적 분석 결과는 다음과 같습니다:

오류로부터의 회복: 미드 트레인된 에이전트는 부정적인 관찰값(예: 스택 트레이스)으로부터의 회복률이 베이스라인의 24.8% 대비 28.8%로 높았습니다.
반복 및 검증: 모델은 더 많은 편집과 더 긴 궤적(23.6 단계 vs 15.1 단계)을 채택하는 정책을 취했으며, 이를 통해 "패치 없음(no-patch)" 실패를 10배 가까이 줄였습니다.
입도(Granularity): 단일 파일 내의 교차 함수 의존성을 추론해야 하는 작업에서 성능 향상이 가장 두드러졌습니다(+9.1 포인트). 이는 구조적 동형성 가설을 확인시켜 줍니다.

의의 및 주장

본 논문은 소스 코드가 함수 호출 지점이라는 형태로 "에이전트에게 유효한 신호의 인터넷 규모 공급원"을 포함하고 있다고 주장합니다. 함수 인식형 FIM을 통해 모델이 이러한 의존성에 대해 양방향으로 추론하도록 명시적으로 훈련함으로써, 다음과 같은 구조적 선험 지식을 설치합니다:

에이전트 성능 향상: 소프트웨어 엔지니어링 벤치마크의 성공률을 직접적으로 높입니다.
파괴적 망각 완화: 전문화된 에이전트 포스트 트레이닝으로 인해 발생하는 일반적인 코딩 및 도구 사용 능력의 저하를 방지합니다.
일반화: 이점은 다양한 모델 제품군으로 전이되며, 비코딩 도구 사용 작업으로도 전이됩니다. 이는 학습된 귀납적 편향이 단순히 Python 코드 생성이 아닌, 에이전트 추론 루프의 근본적인 부분임을 시사합니다.

저자들은 Python 전용 코퍼스에 대한 의존성, CoT 생성을 위한 프런티어 교사 모델(Gemini-3-Flash)에 대한 의존성(단, self-CoT가 대부분의 이득을 회복함), 그리고 모듈형 코드 구조에 대한 가정을 포함한 한계점을 언급했습니다.