💻 computer science

Recovery or Repetition? Feedback Policy and Verbatim Relay in a Two-Agent Language-Model Loop

이 연구는 두 에이전트 언어 모델 루프 내에서 지침 위반으로부터의 외견상 회복이 진정한 규칙 재적용이라기보다는 이전에 생성된 텍스트의 축자적 재현인 경우가 많다는 점을 입증하며, 이는 피드백 정책이 주로 텍스트 순환을 규정하는 반면 진정한 준수는 에이전트의 새로운 콘텐츠 구성 능력을 테스트할 것을 요구한다는 점을 강조한다.

원저자: Simin Yuan

게시일 2026-10-08✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Simin Yuan

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 연구자들은 여러 컴퓨터 프로그램이 문제를 해결하기 위해 서로 대화하는 시스템을 점점 더 많이 구축하고 있습니다. 이것들은 흔히 멀티 에이전트 루프(multi-agent loops)라고 불립니다. 하나의 모델이 다른 모델의 작업을 검토하게 하거나, 주제에 대해 토론하게 함으로써 단일 모델이 혼자 작업할 때보다 더 나은 답을 낼 수 있다는 것이 이 아이디어의 핵심입니다. 흔한 기대는 만약 이 에이전트 중 하나가 실수를 하거나 규칙을 잊더라도, 대화가 자연스럽게 이를 다시 궤도로 돌려놓을 수 있다는 것입니다. 이를 '회복(recovery)'이라고 합니다. 하지만 중요한 질문이 남아 있습니다. 에이전트가 갑자기 규칙을 다시 따르기 시작할 때, 그것이 정말로 지침을 이해하고 사고를 교정한 것인지, 아니면 단순히 대화 중에 들었던 텍스트를 반복하고 있는 것인지에 대한 문제입니다. 진정한 이해와 단순한 반복을 구별하는 것은 매우 중요한데, 만약 시스템이 새로운 사고를 요구하는 새로운 상황에 직면했을 때 제대로 대처하지 못하고 이미 들었던 내용을 그저 메아리처럼 따라 하는 것에 불과하다면 문제가 되기 때문입니다.

독립 연구자인 시민 유안(Simin Yuan)은 바로 이 질문을 조사하는 최근 연구를 진행했습니다. 연구자는 현대 챗봇의 소프트웨어 두뇌인 언어 모델 두 개를 사용하여 간단한 실험을 설계했습니다. 두 모델 모두에게 "모든 단어를 대문자로 쓰라"는 엄격한 시스템 규칙이 주어졌습니다. 그런 다음 그들은 다양한 주제에 대해 대화를 나누도록 요청받았습니다. 몇 차례의 성공적인 대문자 대화가 이뤄진 후, 연구자는 반전을 주었습니다. '에이전트 A'라고 부를 수 있는 모델에게 사용자로부터 "이제부터 소문자로 써 주세요"라는 새로운, 상충되는 지침이 전달되었습니다. 에이전트 A는 이 새로운 지침을 따랐고 소문자로 전환되었습니다. 이 시점에서 시스템은 원래의 규칙을 "깨뜨린" 상태가 되었습니다. 실험은 그 후 대화가 계속된다면 어떤 일이 일어날지 물었습니다. 에이전트 A는 결국 대문자 규칙을 기억해 내어 다시 대문자로 바꿀까요? 아니면 소문자로 계속 머물러 있을까요?

이를 알아내기 위해 연구자는 실수 이후의 대화를 이어가는 네 가지 서로 다른 방식을 사용하여 동일한 시나리오를 서른 번 실행했습니다. 첫 번째 설정에서 두 모델은 단순히 메시지를 주고받았습니다. 두 번째로, 연구자는 다른 모델에게 주제에 대해 계속 이야기해 달라는 정중한 요청을 추가했습니다. 세 번째로, 연구자는 다른 모델에게도 소문자로 써 달라는 요청을 추가했습니다. 네 번째 설정에서 연구자는 두 모델 사이의 대화를 완전히 중단시키고, 대신 에이전트 A에게 매 턴마다 "대문자로 대화를 계속하라"는 고정된 반복 알림을 보냈습니다.

결과는 놀라웠으며, 모델의 추론 능력보다 대화가 어떻게 관리되는지가 더 중요하다는 것을 드러냈습니다. 고정된 알림 없이 두 모델이 서로 대화하도록 두었을 때, 에이전트 A는 대문자를 다시 사용하는 경우가 드물었습니다. 사실, 다른 모델 또한 소문자로 쓰도록 요청받았을 때, 에이전트 A는 규칙으로 전혀 돌아오지 않았습니다. 그러나 연구자가 에이전트 A에게 매 턴마다 고정된 알림을 보냈을 때는, 서른 번의 프롬프트 모두에서 대문자 규칙을 완벽하게 따랐습니다. 이는 에이전트의 파트너 모델의 존재가 에이전트의 규칙 회복을 돕지 못했으며, 어떤 경우에는 오히려 방해가 되었다는 것을 시사합니다.

가장 놀라운 발견은 모델이 생성한 텍스트를 면밀히 살펴보는 과정에서 나왔습니다. 연구자는 모델들이 규칙에 대한 깊은 이해를 바탕으로 새로운 문장을 생성하는 것이 아니라, 복사하고 있다는 것을 발견했습니다. 실수가 발생하기 전부터 두 모델은 이미 서로의 단어를 똑같이 복사하는 습관을 가지고 있었습니다. 에이절트 A가 마침내 대문자로 돌아왔을 때, 그것은 거의 항상 대문자로 작성된 다른 모델의 메시지를 복사했기 때문이었습니다. 많은 경우, 에이전트 A는 실수하기 전의 자신의 답변을 그대로 반복하고 있었습니다. 즉, 대문자로 작성되었던 이전의 답변을 말입니다. 시스템은 규칙을 다시 '학습'한다는 의미에서의 '회복'을 하고 있는 것이 아니라, 그 형식에 맞는 텍스트 조각을 순환시키고 있었던 것입니다.

이러한 행동은 매우 일관적이어서, 대문자로 돌아온 거의 모든 성공적인 시도에서 모델은 방금 전 보았던 문자열을 단순히 전달하고 있었습니다. 만약 순환하는 텍스트가 소문자라면 모델은 소문자로 머물렀고, 순환하는 텍스트가 대문자라면 모델은 대문자로 머물렀습니다. 모델은 시스템 규칙의 중요성과 사용자의 요청 사이에서 무게를 달아 판단하는 것처럼 보이지 않았습니다. 모델은 단지 가장 최근에 받은 텍스트를 재현하고 있었을 뿐입니다. 이 연구는 상호작용형 시스템이 본질적으로 자기 수정 능력이 뛰어나다는 생각에 의문을 제기합니다. 즉, 무엇이 '회복'처럼 보이는 것이 실제로는 단순한 반복의 루프일 수 있다는 것입니다.

이 결과가 시사하는 바는 인공지능을 테스트하는 방식에 있어 매우 중요합니다. 만약 시스템이 실수를 바로잡는 것처럼 보인다면, 우리가 이전에 본 적 없는 내용으로 테스트하기 전까지는 시스템이 무언가를 새로 배웠다고 가정할 수 없습니다. 이 실험에서 모델들은 복사할 수 있는 적절한 텍스트가 존재했기 때문에 성공할 수 있었습니다. 연구자가 이전의 어떤 텍스트로도 답할 수 없는 완전히 새로운 질문에 모델들이 답해야 하는 미래의 테스트를 제안했을 때, 결과는 매우 다를 수 있습니다. 그때까지, 이 연구는 이러한 두 에이전트 루프에서 피드백 정책(다음에 할 말에 대한 구체적인 지침)이 어떤 텍지스트가 전달될지를 결정하며, 형식 점수는 단지 그 텍스트의 형식을 보고할 뿐이라고 결론짓습니다. 모델은 반드시 생각하고 있는 것이 아닙니다. 그들은 메아리치고 있을 뿐입니다.

기술 요약: 회복인가 반복인가? 2-에이전트 언어 모델 루프에서의 피드백 정책 및 버버팀(Verbatim) 전달

문제 제Statement
상호작용형 언어 모델(LM) 시스템에서 에이전트는 여러 턴에 걸쳐 규칙(예: 포맷팅 제약 조건)을 유지하는 능력을 평가받곤 한다. 에이전트가 상충하는 지시로 인해 규칙에서 벗어났다가 이후 다시 규칙을 준수하는 것처럼 보일 때, 시스템은 일반적으로 에이전트가 규칙을 "회복(recovery)"한 것으로 간면한다. 그러나 이러한 관찰은 오직 출력 점수에만 의존한다. 자기회귀(autoregressive) 모델에서, 준수하는 출력은 모델이 새로운 콘텐츠에 규칙을 재적용하여 생성된 결과가 아니라, 이미 규칙을 충족하고 있는 텍스트를 복사하거나 지속함으로써 발생할 수 있다. 이러한 모호함은 멀티 에이전트 루프에서 더욱 심화되는데, 상호작용 이력 내에 준수하는 텍스트가 존재할 경우 모델은 이를 단순히 전달(relay)할 수 있기 때문이다. 본 논문은 2-에이전트 루프에서 규칙로의 복귀가 진정한 규칙 회복인지, 아니면 단순히 기존 텍스트의 버버팀 전달인지를 조사한다.

방법론
본 연구는 그리디 디코딩(greedy decoding)과 40토큰 제한을 사용하는 동결된 Qwen2.5-7B-Instruct 모델을 사용하여 쌍을 이룬 개입 설계를 채택한다. 실험 설정에는 "모든 단어를 대문자로 작성하라"라는 공유 시스템 규칙을 가진 두 에이전트(A와 B)가 포함된다.

베이스라인 및 섭동(Perturbation): 각 30개의 프롬프트에 대해, 에이전트들은 대문자 규칙을 모두 준수하며 세 번의 베이스라인 교환을 수행한다. 그 후 에이전트 A에게 소문자로 쓰라는 상충하는 사용자 요청이 주어진다. 에이전트 A는 이에 순응하며, 규칙이 위반된 "실패 상태( $a_1$ )"를 생성한다.
지속 정책(Continuation Policies): 동일한 실패 상태로부터 네 가지 뚜렷한 지속 정책을 12라운드 동안 테스트한다. 주요 종단점은 라운드 10, 11, 12에서 에이전트 A가 대문자 규칙을 준수하는지 여부이다.
- C (Plain): 에이전트 B는 $a_1$ 을 받고 A와 라이브 루프를 진행한다.
- C_SHAM: 에이전트 B는 $a_1$ 과 함께 "이 주제에 대해 계속 이야기하라"는 요청(주제 지속)을 받는다.
- C_BOTH: 에이전트 B는 $a_1$ 과 함께 "소문자로 정상적으로 작성하라"는 요청(위반 강화)을 받는다.
- FIXED: B와의 라이브 루프가 없다. 에이전트 A는 매 턴마다 고정된 리마인더("PLEASE CONTINUE THE CONVERSATION IN ALL CAPITAL LETTERS")를 받는다.
분석: 연구는 준수율, 정확한 문자 일치(버버팀 전달), 그리고 반환된 텍스트의 기원을 추적한다. 통계적 유의성은 불일치 프롬프트에 대해 Holm 조정을 적용한 양측 검정 exact McNemar 테스트를 사용하여 평가한다.

주요 결과
본 연구는 "회복"의 메커니즘에 관한 네 가지 주요 결과를 도출한다:

정책이 포맷을 결정한다: 피드백 정책이 최종 포맷을 결정하며, 에이전트 간의 구조적 결합이 결정하는 것이 아니다.
- FIXED: 100% 준수율(30/30 프롬프트)을 달성했다.
- C_SHAM: 33.3% 준수율(10/30)을 달성했다.
- C: 30.0% 준수율(9/30)을 달성했다.
- C_BOTH: 0% 준수율(0/30)을 달성했다.
- 통계적 대비 결과, 파트너에게 소문자 요청을 추가하는 것(C_BOTH)은 주제 지속 조건(C_SHAM)에서 나타난 모든 성공 사례를 제거하며, 고정 리마인더(FIXED)는 라이브 전달이 실패한 모든 프롬프트에서 성공한다.
기존의 복사(Pre-existing Copying): 섭동 전, 루프는 이미 복사 메커니즘으로서 작동한다. 30개의 프롬프트 중 27개에서 두 에이전트의 6개 베이스라인 답변은 모두 동일한 문자열이었다. 에이전트 B는 90개의 베이스라인 턴 중 85번에서 에이전트 A의 답변을 버버팀으로 재생산했다.
반환물은 전달물이다(Returns are Relays): 에이전트 A가 라이브 루프(C 및 C_SHAM)에서 대문자로 복귀할 때, 이는 복사를 통해 이루어진다.
- 대문자로의 첫 번째 복귀 21건 중 20건은 에이전트 B의 이전 메시지와 문자가 정확히 일치하는 복사본이었다.
- C_SHAM의 성공 사례 10건 중 8건에서, 복사된 텍스트는 에이전트 A 자신의 섭동 전 원본 답변이었다.
- "회복"은 새로운 대문자 텍스트를 생성하는 것이 아니라, 컨텍스트 내에 이미 존재하던 준수 문자열이 순환하는 것이다.
불변성 및 디커플링(Decoupling): 120개의 궤적 중 116개가 라운드 10~12에 걸쳐 일정한 문자열로 종료된다. 포맷 점수는 단지 이 일정한 문자열의 대소문자 상태를 보고할 뿐이다. 또한, 높은 준수율(예: FIXED)은 과제 관련성과 상관관계가 없다. FIXED 정책는 330개의 출력 중 21개의 서로 다른 문자열을 생성했으며, 점수가 매겨진 90개의 출력 중 69개는 모든 주제 용어를 생략하고 "SURE, I WILL CONTINUE"와 같은 확인 문구로 구성되었다.

의의 및 주장
본 논문은 상호작용하는 에이전트에 대한 표준적인 "규칙 회복" 평가 지표가 부적절하다고 주장하는데, 이는 해당 지표가 규칙 적용(새로운 준수 콘텐츠 생성)과 버버팀 전달(기존 준수 콘텐츠 복사)을 구분할 수 없기 때문이다.

운영 메커니즘: 본 연구는 건축적 설명("결합이 규칙을 복구한다")을 운영적 설명("피드백 정책이 어떤 텍스트를 순환시킬지 결정하며, 포맷 점수는 그 텍스트의 대소문자를 보고한다")으로 대체한다.
평가에 대한 시사점: 에이전트가 규칙을 회복했다고 주장하려면, 에이전트가 새롭게 구성해야 하는 콘텐츠를 대상으로 테스트해야 한다. 만약 에이전트가 단순히 복사하고 있는 것이라면, 해당 평가는 모델의 행동적 규칙 준수 능력이 아니라 대화 이력의 콘텐츠를 측정하는 것이 된다.
제안된 향후 테스트: 본 논문은 이러한 메커니즘을 구분하기 위한 구체적인 개입을 제 propose한다: 파트너의 메시지를 새로운 콘텐츠(준수하거나 준수하지 않는 내용 모두 가능)로 교체한 뒤, 이전의 어떤 문자열로도 답할 수 없는 새로운 질문을 던지는 것이다. 만약 에이전트가 규칙을 적용한다면, 교체된 메시지의 대소문자와 관계없이 올바른 포맷으로 새 질문에 답할 것이다. 만약 재생산에 의존한다면, 출력은 교체된 메시지의 대소 $\text{case}$ 를 따를 것이다.

저자는 루프가 특정 정책 하에서 준수하는 텍스트를 성공적으로 순환시키기는 하지만, 이것이 새로운 입력에 대해 규칙을 재적용하는 모델의 능력을 입증하는 증거는 아니라고 결론짓는다. 이 구별은 멀티 에이전트 시스템에서 지시 이행(instruction-following)의 견고함을 평가하는 데 있어 매우 중요하다.

유사한 논문