기술 요약: 역효과를 내는 피드백 (Feedback That Backfires)

문제 정의

에이전트 프레임워크는 일반적으로 실패한 도구 호출과 그에 해당하는 에러 메시지를 트랜스크립트에 그대로 추가하고 모델에게 계속 진행하도록 요청하는 ReAct 스타일의 루프를 따릅니다. 지배적인 가정은 에러 메시지가 교정 정보로서 작용하여, 모델이 실패한 행동으로부터 멀어지도록 유도한다는 것입니다.

본 논문은 이러한 가정에 이의를 제기합니다. 본 연구는 실패한 호출과 그 에러를 기록하는 것이 특정 행동을 반복할 모델의 확률을 실제로 낮추는지 조사합니다. 저자는 소형 언어 모델(SLM)의 경우, 실패한 행동의 토큰 시퀀스가 컨텍스트에 존재하면 에러의 의미론적 이해를 압도하는 복사 메커니즘(copying mechanisms)을 트리거하여 "피드백 역전(feedback inversion)"—즉, 에러를 본 후 모델이 해당 실패를 더 반복하게 되는 현상—을 초래할 수 있다고 가설을 세웁니다.

방법론

실험 설정

연구는 다양한 행동 유형에 걸쳐 견고성을 확보하기 위해 두 가지 구별된 환경을 활용합니다:

1. ToolShed: 12개의 유형화된 도구(파일, 연락처, 캘린더 등)가 있는 시뮬레이션된 사무 환경입니다. 행동은 Python 스타일의 함수 호출입니다.
2. CodeRepair: 정제된 MBPP 데이터셋을 사용하는 프로그램 수정 작업입니다. 행동은 전체 Python 함수이며, 관찰값은 실제 인터프리터 출력(tracebacks)입니다.

저자는 4개의 모델 제품군(Llama-3.2, Qwen2.5, Qwen3, SmolLM2)에 걸쳐 6개의 인스트럭션 튜닝된 체크포인트를 테스트했습니다. 모델 크기는 135M에서 1.7B 파라미터까지 다양합니다. 모든 실험은 GPU 없이 단일 CPU(Intel Core i7-6820HQ)에서 수행되었습니다.

측정 프로토콜

핵심 지표는 실패한 특정 행동($a_\times$)을 재출력할 로그 확률의 변화인 **교정 이득(Corrective Gain, $G$)**입니다. 이는 실패 기록이 컨텍스트에 추가된 후의 값과 비교하여 다음과 같이 정의됩니다:
$$G(a_\times) = \log \pi(a_\times | C) - \log \pi(a_\times | C \oplus (a_\times, o_\times))$$

• $G > 0$: 하네스(harness)가 실패한 행동을 성공적으로 억제함.
• $G < 0$: 피드백 역전 (모델이 실패를 더 반복하게 됨).

$G$의 원인을 분해하기 위해 저자는 다음과 같은 반사실적 관찰(counterfactual observations)을 사용합니다:

• $\Delta_{copy}$ (표면 형태 항): 실패한 행동의 토큰 시퀀스가 컨텍스트에 나타나는 효과를, 호출은 인정하지만 성공이나 실패 여부는 보고하지 않는 "가치 중립적(valence-free)" 관찰값과 비교하여 측정합니다.
• $\Delta_{sem}$ (의미론적 항): 호출을 실패로 명시적으로 표시하는 효과를, 가치 중립적 관찰값과 실패 관찰값을 비교함으로써 측정합니다.

개입 (Interventions)

논문은 분해를 테스트하기 위해 여러 하네스 변형을 평가합니다:

1. Verbatim (있는 그대로): 표준 ReAct 트랜스크립트.
2. +Instruction (지시문 추가): Verbatim에 "반복하지 마시오"라는 시스템 프롬프트 지시를 추가.
3. Abstract (추상화): Verbatim 호출을 런타임 생성된 실패 설명(진단만 포함, 토큰 시퀀스는 제외)으로 대체.
4. +Ban (차단): 생성 과정에서 이전에 실패한 문자열의 마지막 토큰을 마스킹하는 디코더 수준의 제약 조건.
5. Drop (삭제): 재시도하기 전에 실패한 시도를 컨텍스트에서 삭제 (클린 리스타트).

주요 결과

1. 보편적 피드백 역전

6개의 모델과 두 환경 모두에서 교정 이득 $G$는 일관되게 음수였습니다.

• 크기: 평균 이득은 행동 토큰당 약 $-1.03$ nats (도구 호출 전체로는 $-17.38$ nats)입니다. 이는 행동을 반복할 확률(odds)이 2.8배 증가했음을 의미합니다.
• 빈도: 이 효과는 평균뿐만 아니라 개별 항목의 90%~100%에서 나타납니다.
• 행동적 영향: 4개의 고정된 후보 집합에서, 실패한 호출을 재출력할 확률은 실패 전 0.06에서 실패 후 0.54로 상승합니다. 그리디 디코딩(greedy decoding) 하에서, 실패 후 19%의 항목에서 정확히 실패한 호출이 토큰 단위로 동일하게 재현되었습니다(실패 전에는 0%).

2. 분해: 형태 vs 의미

분해 결과, **표면 형태 항($\Delta_{copy}$)**이 역전 효과의 약 **83%**를 차지하는 것으로 나타났습니다.

• 복사의 지배력: 실패한 문자열의 존재 자체가 반복을 유도합니다.
• 의미론적 취약성: 의미론적 항($\Delta_{sem}$)은 작고 일관성이 없습니다. ToolShed에서는 약간 양수였는데, 이는 에러를 설명하기 위해 도구 이름을 다시 언급해야 하므로 에러 메시지가 모델을 실패한 호출 쪽으로 유도했기 때문입니다. CodeRepair에서는 약간 음수였으나(traceback이 모델을 밀어냄), 이 효과는 복사 항에 의해 압도되었습니다 (표면 형태 대 의미론적 비율 61:1).
• 결론: 문제는 모델이 에러 메시지를 읽지 못하는 것이 아니라, 복사 메커니즘이 의미론적 이해보다 우선한다는 것입니다.

3. 개입의 평가

• 자연어 지시문: "반복하지 마시오"라는 지시를 추가하는 것은 부정적인 지시어가 컨텍스트에 존재할 때 실패한다는 기존 문헌과 일치하게, 효과가 미미했습니다 (일부 사례에서는 오히려 반복을 증가시킴).
• 컨텍스트 삭제 (Drop): 실패한 시도를 삭제하고 클린 컨텍스트에서 재시도하는 것이 가장 성능이 낮은 하네스였습니다. 이는 실패를 발생시킨 것과 동일한 컨텍스트를 복원하여, 동일한 행동이 다시 생성되는 것을 보장했습니다. 이 경우 정확한 반복률은 80%까지 상승했습니다.
• 구조적 해결책 (Abstract & Ban):
  • Abstract: 호출을 런타임 생성된 설명으로 대체하면 역전 현상의 76%가 제거됩니다. 프로브 스코어링(probe scoring)에서 이는 정확한 그리디 반복률을 0으로 만들지만, 자유 실행 롤아웃(free-running rollouts)에서는 정확한 반복률이 16%로 감소했습니다 (쌍 차이 -14 포인트, 구간이 0에 닿음).
  • Ban: 이전에 실패한 문자열을 디코딩 단계에서 차단하면 정확한 반복이 크게 줄어듭니다 (롤아웃에서 31%에서 8%로 감소).
  • 결합: 두 방법을 모두 사용했을 때 루프 발생률이 가장 낮았습니다 (4%).

4. 작업 성공 vs 반복

구조적 개입(Abstract, Ban)은 반복을 효과적으로 제거하지만, 이 규모(0.5B 모델)에서는 작업 성공률을 개선하지 못합니다.

• "반복하지 마시오" 지시는 반복을 막는 데는 실패했지만, 놀랍게도 작업 성공률을 17포인트 높였습니다. 이는 모델을 더 신중하게 만들거나 작업을 조기에 포기하는 경향을 줄였기 때문으로 보입니다.
• 논문은 0.5B 규모에서 반복은 중요한 문제이지만 유일한 문제는 아니라고 결론짓습니다. 루프를 제거하면 에이전트의 예산(budget)을 돌려받지만, 올바른 대안 호출을 생성하는 능력은 별개의 한계로 남습니다.

의의 및 주장

본 논문은 표준 에이전트 하네스가 모델의 능력 문제가 아닌 구조적 결함으로 오진되고 있는 특정 문제를 식별했다고 주장합니다.

1. 진단의 전환: 에이전트가 에러로부터 회복하지 못하는 것은 주로 소형 모델의 에러 이해 부족 때문이 아니라, 하네스 설계로 인해 유발된 "복사 저주(copying curse)" 때문입니다. 에러 메시지는 실제 정보이지만, Verbatim 방식으로 포함된 실패한 행동이 더 강력하고 경쟁적인 신호로 작용합니다.
2. 설계 원칙: 실패 이후의 컨텍스트는 실패 전의 컨텍스트와 달라야 하지만, 그 차이가 실패한 행동 자체여서는 안 됩니다. 단순히 실패를 삭제하는 것(클린 리스타트)은 불충분합니다. 실패한 행동의 표면 형태가 가려지거나 접근 불가능하게 만들어져야 합니다.
3. 실질적 해결책: 저자는 두 가지 효과적이고 비용이 적게 드는 해결책을 제안합니다:
   • 런타임 설명: Verbatim 호출을 생성된 설명으로 대체하는 것.
   • 디코더 제약: 디코딩 단계에서 이전에 실패한 문자열을 차단하는 것.
4. 한계: 논문은 이러한 해결책들이 루프를 멈출 수는 있지만, 소형 모델의 근본적인 작업 실패를 해결하지는 못한다고 명시합니다. "반복하지 마시오" 지시는 루프를 막는 데는 효과적이지 않았지만, 반복 메커니즘과는 별개로 작업 성공에 도움이 되는 다른 행동적 효과를 가질 수 있습니다.

이 연구는 소형 모델의 경우 에이전트의 신뢰성을 결정하는 것은 모델 자체가 아니라 "하네스"임을 강조하며, 단순한 에러 메시지 개선이나 더 강력한 모델을 만드는 것보다 컨텍스트나 디코더의 구조적 변화가 필요하다고 강조합니다.