기술 요약: 피드백으로부터의 상호작용적 개선을 이끄는 동력은 무엇인가?

문제 정의

대규모 언어 모델(LM)이 행동하고, 관찰하며, 수정하는 상호작용형 에이전트로 점점 더 많이 배치됨에 따라, 다음과 같은 중요한 질문이 제기됩니다: 언제 자연어 피드백이 단순히 반복적인 시도만으로 얻을 수 있는 이득을 넘어 실제로 개선을 이끌어내는가?

다회차(multi-turn) 설정에서 최종 정확도의 상승은 여러 메커니즘과 혼동될 수 있습니다:

1. 유용한 피드백: 에이전트가 진단 정보를 올바르게 해석하고 실행함.
2. 재샘플링/연산(Resampling/Computation): 에이전트가 단순히 더 많은 시도를 생성하여, 증가된 테스트 타임 연산량(예: Best-of-N 샘플링 또는 Chain-of-Thought)의 이득을 얻음.
3. 형식 교정(Format Correction): 에이전트가 근본적인 논리 문제를 해결하는 대신 출력 형식 오류를 수정함.

현재의 문헌들은 이러한 요소들을 분리하지 않은 채, 다회차 개선을 피드백 효용의 증거로 취급하는 경우가 많습니다. 또한, 상호작용적 개선의 병목 현상이 유용한 피드백을 생성하는 **교사(teacher)**의 능력에 있는지, 아니면 그것을 활용하는 **학생(student)**의 능력에 있는지도 여전히 불분명합니다.

방법론

저자들은 반복적인 샘플링으로부터 피드백의 구체적인 기여도를 격리하기 위해 설계된 통제된 학생-교사 프로토콜을 도입합니다.

실험 설정

• 프로토콜: 학생 모델이 문제를 시도하는 "교수법적(didactic)" 상호작용 루프. 만약 틀렸을 경우, 교사 모델은 (최종 정답을 공개하지 않고) 자연어 피드백을 제공하며, 학생은 자신의 시도를 수정합니다. 이 과정은 최대 $K=10$회까지 반복됩니다.
• 환경: 네 가지 검증 가능한 추론 벤치마크가 사용되었습니다:
  • Omni-MATH: 올림피아드 수준의 수학.
  • Codeforces: 경쟁 프로그래밍.
  • BBEH Linguini: 새로운 규칙을 학습해야 하는 과업.
  • ARC-AGI1: 추상적 추론 그리드 퍼즐.
• 모델: 1B에서 120B 파라미터에 이르는 네 가지 제품군의 13개 오픈 웨이트 모델(Gemma4, Llama3, Qwen3.5, GPT-OSS).
• 밀집 행렬 설계(Dense Matrix Design): 모든 모델은 모든 환경에서 학생과 교사 역할을 모두 수행하며 $13 \times 13$ 상호작용 행렬을 생성했습니다. 이를 통해 학생과 교사의 효과를 각각 분리하여 측정할 수 있습니다.
• 베이스라인 및 대조군:
  • 자기 개선(Self-refinement): 외부 피드백 없이 학생이 문제를 다시 시도함 (반복 시도의 효과를 통제).
  • 자기 피드백(Self-feedback): 학생이 스스로 피드백을 생성함 (피드백 메시지의 존재 자체를 통제).
  • 최상의 피드백(Best Feedback): 학생이 가용한 가장 강력한 교사와 짝을 이룸.
• 절제 연구(Ablations): 상호작용 이력 길이($h \in \{1..5\}$)와 특권 정보(예: 정답, 실행 트레이스)에 대한 교사의 접근 권한을 변화시켜 이들의 선택적 영향을 테스트했습니다.

지표

• acc@K: $K$번째 턴에서의 정확도.
• Raw/Normalized Gain: $acc@K - acc@1$및$\frac{acc@K - acc@1}{1 - acc@1}$로, 초기 시도로부터의 개선량을 격리함.
• AUC: 누적 정확도 곡선 아래 면적.

주요 기여

1. 통제된 평가 프레임워크: 반복 샘플링과 자기 개선으로부터 피드백 특유의 이득을 분리하는 제로샷 학생-교사 평가 프로토콜을 제시함.
2. 메커니즘의 분리: 다회차 개선이 피드백 사용과 동일시되지 않는다는 실증적 증거를 제시함; 자기 피드백은 종종 단순한 자기 개선보다 큰 이점을 주지 못함.
3. 학생 중심의 병목 현상: 상호작용적 성능은 교사의 정체성보다는 주로 피드백을 사용하는 학생의 능력에 의해 결정된다는 것을 입증함 (단, 고정된 학생에 대해서는 교사 선택도 유의미함).
4. 특권 정보의 선택적 가치: 긴 이력과 특권 정보(예: 정답)를 가진 교사가 항상 유익한 것은 아니며, 이는 과업 난이도와 모델 역량에 따라 달라지는 표적 개입임을 밝힘.

주요 결과

1. 강력한 가이드 없이는 피드백 특유의 이득이 제한적임

• 자기 피드백 vs 자기 개선: 동일한 모델이 생성한 피드백 메시지를 추가하는 것(자기 피드백)은 가이드 없는 자기 개선과 비교했을 때 일관되지 않은 결과를 보였습니다. 일부 환경(예: BBEH Linguini)에서 자기 피드백은 단순 재시도보다 나은 이점을 제공하지 못했습니다.
• 외부 교사의 영향: 가장 큰 이득은 학생을 고품질의 외부 교사와 짝지었을 때 나타났습니다. "최상의 피드백" 조건은 자기 개선 대비 $acc@10$에서 9.2~16.6 퍼센트 포인트의 상승을 보였으며, 이는 유용한 피드백이 일반적인 재시도 이상의 교정 정보를 제공해야 함을 시사합니다.
• 전방 집중적 이득(Front-Loaded Gains): 한계 이득은 초기에 집중되었습니다. 첫 번째 피드백 기반 시도가 전체 이득의 30~58%를 차지했으며, 이후 턴에서는 수익 체감 현상이 나타났습니다.

2. 상호작용적 성능은 학생 의존적임

• 학생 정체성의 지배력: 밀집 모델 행렬에서, 학생의 정체성이 쌍별 이득 변동의 77.1%~96.5%를 설명했습니다. 교사의 정체성은 1.3%~12.4%만을 설명했습니다.
• 구별되는 능력: 모델의 초기 해결 능력($acc@1$)은 피드백으로부터의 개선 능력($ngain$)을 예측하지 못합니다. 예를 들어, GPT-OSS-120B는 종종 더 높은 $acc@1$로 시작했지만, 특정 환경에서 Gemma4-31B보다 피드백 준수 능력이 낮았습니다.
• 교사 역량: 교사의 단일 턴 과업 수행 능력은 상호작용적 교수 능력의 부분적인 예측 인자일 뿐입니다. 비교 가능한 쌍 중 28.9%~41.4%의 경우, 더 약한 해결사가 특정 학생에게는 더 효과적인 교사 역할을 수행했습니다.

3. 맥락과 특권 정보는 선택적임

• 이력 길이: 가시적인 이력을 1회에서 5회로 늘리는 것은 완만한 이득(예: Omni-MATH에서 AUC +0.094)을 주었으나, 모델 용량에 따라 크게 의존적이었습니다. 강력한 교사는 이력을 더 잘 활용하여 반복되는 실패를 진단했습니다.
• 특권 정보: 교사에게 정답이나 솔루션에 대한 접근권을 주는 것이 결과에 일률적으로 개선을 가져오지는 않았습니다.
  • BBEH Linguini: 정답 접근 시 AUC가 0.151에서 0.331로 증가하여 가장 큰 혜택을 보였습니다.
  • Codeforces/Omni-MATH: 혜택이 미미하거나 없었는데, 이는 교사가 이미 충분한 맥락(예: 실행 트레이스)을 가지고 있었거나 과업 구조상 정답이 진단에 결정적이지 않았기 때문으로 보입니다.
• 정보 유출: 특권 접근 권한이 있음에도 불구하고, 교사에서 학생으로의 정보 유출은 매우 낮았습니다(<5%). 이는 교사들이 솔루션을 공개하지 말라는 제약을 대체로 잘 준수했음을 나타냅니다.

의의 및 주장

본 논문은 피드백 기반 에이전트를 평가하는 방식이 변화해야 한다고 주장합니다:

• 평가의 엄격성: 다회차 이득은 반드시 반복 시도 베이스라인(자기 개선)과 비교되어야 하며, 이를 통해 개선이 진정으로 피드백에 의한 것인지 확인해야 합니다.
• 병목 현상 식별: 상호작용적 개선의 주요 제약은 단순히 피드백의 존재나 교사의 강점이 아니라, 종종 피드백에 따라 행동하는 학생의 능력에 있습니다.
• 전략적 배포: 긴 상호작용 이력과 특권 정보를 가진 교사는 기본적인 개선책이 아니라, 보장된 수익 없이 계산 비용과 맥락 압박만을 높일 수 있는 표적 개입으로서 다루어져야 합니다.

저자들은 피드백이 강력한 도구이기는 하지만, 그 효용은 진단적 정보를 실행 가능한 교정으로 전환하는 학생의 역량에 달려 있으며, 이 능력은 모델 아키텍처와 크기에 따라 크게 달라진다고 결론짓습니다.