기술 요약: 소규모 코드 모델에서 블라인드 리샘플링이 자기 수복(Self-Repair)보다 우수함

문제 제기

본 논문은 코드 생성 에이전트의 자기 수복(self-repair) 메커니즘 평가에 존재하는 근본적인 결함을 다룹니다. 표준적인 평가는 자기 수복(실행 피드백을 통한 재시도)을 단일 샷(single-shot) 베이스라인과 비교합니다. 저자들은 이 비교가 혼재되어 있다고 주장합니다. 즉, 이 방식은 피드백 정보의 가치와 추가 시도 자체의 가치를 구분하지 못하고 있습니다. 확률적 디코딩(stochastic decoding) 하에서는, 정보가 주어지든 아니든 단순히 작업을 여러 번 재시도하는 것만으로도 성공 확률이 높아집니다. 본 논문은 추가 시도의 비용을 고려한 "플라세보(placebo)" 대조군 없이 수행되는 연구는 자기 수복의 겉보기 이점이 허구일 수 있다고 가정합니다.

방법론

본 연구는 Qwen2.5-Coder 모델을 사용하여 세 가지 모델 규모(1.5B, 3B, 7B)에 대해 MBPP+ 벤치마크(378개 태스크)를 활용한 플라세보 대조 실험 설계를 채택했습니다.

실험 조건

프로그램이 테스트에 실패하면, 시스템은 원래의 지시문에 다음 네 가지 접미사 중 하나를 추가하여 수복 시도를 트리거합니다. 모든 조건은 동일한 토큰 예산 제약과 디코딩 파라미터(재시도 시 온도 0.8, 초기 시도 시 그리디 디코딩)를 공유합니다:

1. 리샘플링 (Blind Control - 블라인드 리샘플링): 실패한 시도에 대한 참조 없이 원래의 프롬프트를 다시 샘플링합니다. 이는 추가적인 추출(draw)의 가치를 격리하여 측정합니다.
2. 플라세보 (Placebo): 실패한 프로그램을 내용이 없는 알림(content-free notice)과 함께 부착하여 프로그램이 틀렸음을 알립니다. 이는 자신의 시도를 다시 읽는 것의 가치를 격리합니다.
3. 피드백 (Feedback): 실패한 프로그램에 실제 실행 출력(실패한 입력값, 예상값 vs 관측값)을 부착합니다. 이는 진단 정보의 가치를 격리합니다.
4. 성찰 (Reflect): 실패한 프로그램과 실행 출력을 쓰기 전에, 서술형으로 실패 원인을 진단하라는 지시를 앞에 둡니다. 이는 명시적인 언어적 추론의 가치를 테스트합니다.

평가 지표

• 성능 (Performance): EvalPlus의 참조 구현에 대한 차등 테스트(differential testing)를 통해 $k=8$ 반복 횟수에서의 pass@1을 측정합니다.
• 비용 (Cost): 출력 토큰 소비량.
• 메커니즘 분석 (Mechanism Analysis): 연속된 시도 간의 텍스트 유사도(최장 일치 부분 수열 비율)를 측정하여 "앵커링(anchoring)"을 측정합니다.
• 통계적 엄밀성 (Statistical Rigor): 쌍체 대조를 위한 McNemar의 정확 검정, 부트스트랩 신뢰 구간, 그리고 다중 비교를 위한 Holm 교정을 사용합니다. 실험은 사전 등록되었으며 단일 소비자용 GPU에서 실행되었습니다.

주요 결과

1. 소규모 모델에서 블라인드 리샘플링이 우세함

1.5B 및 3B 규모에서, 블라인드 리샘플링(실패를 보지 않고 재시도)이 가장 높은 통과율을 기록하며 가장 토큰 효율적인 전략임이 드러났습니다.

• 1.5B: 자기 수복 조건(플라세보, 피드백, 성찰)은 블라인드 리샘플링에 의해 엄격하게 파레토 지배(Pareto-dominated)를 받으며, 정확도 면에서 더 낮은 성능을 보이고 토큰 비용은 훨씬 더 많이 소모합니다. 구체적으로, 자신의 실패한 시도에 조건화되는 것(플라세보)은 블라인드 리샘플링에 비해 정확도를 6.1 포인트 감소시킵니다 ($p=0.006$).
• 3B: 유사한 경향이 유지됩니다. 자기 조건화(self-conditioning)로 인한 페널티는 6.9 포인트입니다 ($p<0.001$).
• 7B: 페널티가 좁혀지며, 블라인드 리샘플링은 가장 좋은 자기 수복 조건들과 통계적으로 동등한 수준이 됩니다. 그러나 "성찰(Reflect)" 조건은 블라인드 리샘플링보다 토큰을 2.5배 더 소비하면서도 유의미하지 않은 +0.8 포인트의 상승만을 보여주었습니다.

2. 실행 피드백은 측정 가능한 가치를 더하지 못함

실행 피드백의 정보 함량은 내용이 없는 플라세보와 구별할 수 없을 정도로 차이가 없습니다.

• 피드백과 플라세보 사이의 대비는 모든 규모에서 통계적으로 무의미했습니다 (차이: +0.000, +0.026, +0.008).
• 실행 피드백이 자기 수복의 "핵심 성분"일 것이라는 실무자들의 가정은 반박되었습니다. 자신의 실패한 코드를 모델에게 보여주는 행위 자체가 성능 변화의 주요 동인입니다.

3. 메커니즘: 앵커링 (Anchoring)

본 논문은 성능 저하의 원인으로 앵커링을 지목합니다.

• 자신의 실패한 코드를 보게 될 때, 모델은 재시도 시 거의 동일한 프로그램을 **3368%**의 비율로 재생산하는 반면, 블라인드 리샘플링 하에서는 이 비율이 **214%**에 불과합니다.
• 모델은 새로운 솔루션 영역을 탐색하기보다는 실패한 프로그램에 대한 국소적 수정(local edits)에 편향된 생성을 수행합니다.
• **언어적 성찰(Verbal Reflection)**은 앵커링을 부분적으로 완화하지만(유사도를 0.04~0.12 감소), 블라인드 리샘플링에 비해 비용 효율성이 떨어집니다.

4. 자기 조건화(Self-Conditioning)의 특이성

• 교차 태스크 경험 (Cross-Task Experience): 다른 태스크로부터 검색된 솔루션(성공 사례)을 앞에 붙이는 것은 효과가 없었습니다 (±3.5 포인트 이내). 이는 해로운 영향이 일반적인 컨텍스트 윈도우 확장 때문이 아니라, 자기 조건화(자신의 실패를 보는 것)에 특이적임을 확인시켜 줍니다.
• 재현성: 이 효과는 모델 패밀리(DeepSeek-Coder)와 정밀도(FP16 vs. Q4 양자화) 전반에 걸쳐 지속되었으며, 이는 양자화 아티팩트나 특정 사전 학습 분포의 문제가 아님을 입증합니다.

5. 베이스라인 능력의 역할

앵커링 페널티의 크기는 모델 규모나 패밀리가 아닌, 모델의 베이스라인 품질($r=0.96$)에 의해 강력하게 예측됩니다.

• 이 페널티는 "나쁜 첫 번째 시도에 확정(committing)되는 비용"입니다.
• 베이스라인 능력이 향상됨에 따라 (예: 7B), 첫 번째 시도가 "나쁠" 확률이 낮아지므로 앵커링의 비용이 미미해집니다. 따라서 관찰된 규모 트렌드는 능력의 효과입니다.

의의 및 주장

본 논문은 코드 에이전트의 반복적 자기 교정에 대한 이해를 근본적으로 바꾼다고 주장합니다.

1. 방법론적 교정: 에이전트 프롬프트에 추가된 능력은 단일 샷 베이스라인이 아니라, 동등하게 비용이 들면서도 정보가 없는 대조군(예: 블라인드 리샘플링)에 대해 평가되어야 합니다. 그렇지 않으면, 피드백의 "이점"은 단순히 지속성(persistence)의 이점으로 오인될 수 있습니다.
2. 소규모 모델을 위한 실질적 지침: 7B 미만의 모델의 경우, 최적의 전략은 자기 수복을 시도하는 것이 아니라 블라인드 리샘플링을 수행하는 것입니다. 에이전트는 반복 횟수를 $k \approx 2$ 근처로 제한해야 하며, 실행 피드백을 기본 메커니즘이 아닌 비용이 많이 드는 자원으로 취급해야 합니다.
3. 경제적 영향: 소규모 모델에서 블라인드 리샘플링을 자기 수복 대신 채택하면, 동일하거나 더 나은 정확도를 얻으면서도 토큰 소비량을 크게 줄일 수 있습니다 (2.5~5.5배 적은 토큰). 이는 컴퓨팅 및 에너지 비용의 직접적인 절감으로 이어집니다.
4. 이론적 통찰: 본 연구는 소규모 모델에서 자기 수복의 "해악"이 추론 능력의 부족이 아니라, 모델이 실패한 궤적을 포기하지 못하게 만드는 인지적 편향(앵커링) 때문임을 보여줍니다. 이 편향은 모델의 초기 생성 품질이 개선됨에 따라 감소합니다.

저자들은 소규모 코드 모델에 대해 "다시 시도하되, 뒤돌아보지 마라(Try Again, Don't Look Back)"가 최선의 전략이며, 자기 수복이 유효해지는 전환점은 첫 번째 시도가 충분히 고품질이 되어 앵커링이 더 이상 페널티를 유발하지 않는 시점과 일치한다고 결론짓습니다.