🤖 AI

Faithful, Not Corrective: Message-Format Effects in Multi-Hop Agent Relays Are Tier-Dependent

이 논문은 메시지 형식이 멀티홉 LLM 에이전트 릴레이에 미치는 영향이 계층 의존적임을 입증하며, 강력한 에이전트는 형식 전반에 걸쳐 손실이 거의 없는 충실도를 유지하는 반면, 약한 에이전트는 경직된 구조가 인코딩 비용을 초래하지만 고정 키 JSON이 우수한 드리프트 저항성을 제공하는 등 형식에 따른 성능 격차를 겪는다는 점을 밝히고, 궁극적으로 구조가 오류 교정이 아닌 오류 국소화 충실도를 제공한다는 점을 확립한다.

원저자: Zayx Shawn

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zayx Shawn

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

아이들이 비밀을 속삭이는 대신, 일련의 AI 로봇들이 12개의 중요한 사실이 담긴 목록을 전달하는 "전화기 게임(Telephone)"을 상상해 보세요. 여기서 연구자들이 던진 핵심 질문은 이것입니다: 로봇이 메시지를 기록하는 방식이 중요한가? 로-봇들이 메시지를 지저식하고 자유로운 문장으로 써야 할까요, 아니면 JSON 스프레드시트나 키-값 쌍(key-value pairs)처럼 엄격하고 경직된 틀 안에 사실들을 강제로 집어넣어야 할까요?

오랫동안 전문가들은 이 문제를 두고 논쟁해 왔습니다. 어떤 이들은 "구조화는 훌륭하다! 비용을 절감하고 정확성을 유지해 준다"라고 말했습니다. 다른 이들은 "안 된다! 로봇을 틀 안에 가두는 것은 그들을 멍청하게 만들고 추론 능력을 망친다"라고 반박했습니다.

이 논문은 거대하고 통제된 릴레이 경주를 설계함으로써 이 논쟁에 종지부를 찍기로 했습니다. 연구진은 12개의 가짜 사실(예: "예산은 500달러이다", "마감일은 화요일이다")을 만들고, 이를 6번의 인계 과정을 거쳐 전달했습니다. 이 실험은 두 종류의 로봇을 대상으로 진행되었습니다: 슈퍼 브레인(강력하고 비싼 AI)과 타이니 브레인(작고 저렴한 1.5B 모델). 그리고 자유 형식의 텍스트부터 엄격한 코드에 이르기까지 다섯 가지의 서로 다른 쓰기 스타일을 테스트했습니다.

다음은 그들이 발견한 결과이며, 이는 우리가 AI 팀워크를 생각하는 방식을 바꿀 것입니다.

1. "전화기 게임"은 항상 망가지지는 않는다

슈퍼 브레인을 사용하면 게임은 놀라울 정도로 지루해집니다. 6번의 인계가 끝난 후에도 메시지는 거의 완벽합니다. 메시지가 엉망이 되어 엉뚱한 내용으로 변하는 유명한 "전화기 게임 효과"—즉, 정보가 왜곡되는 현상은 강력한 로봇에게서는 전혀 발생하지 않습니다. 로봇이 화려한 JSON 박스에 쓰든 자유로운 문단으로 쓰든, 사실 관계는 온전히 유지됩니다. 아주 미세한 정보 손실은 로봇이 처음 메시지를 기록하려고 시도하는 바로 그 첫 단계에서만 발생합니다. 그 이후로는 메시지가 변하지 않고 그대로 전달됩니다.

2. "바쁜 로봇"이라는 신화

여러분은 이렇게 생각할 수도 있습니다. "만약 로봇이 메시지를 전달하는 동안 다른 일을 하고 있다면 어떨까? 예를 들어, 수학 문제를 먼저 풀어야 한다면?" 연구진은 슈퍼 브레인이 매 단계마다 추가적인 사고 작업을 수행하도록 만들어 이를 테스트했습니다.
결과는 어땠을까요? 로봇은 피곤해졌고 메시지는 더 길어졌지만(이는 '토큰' 비용, 즉 메시지 비용이 24%에서 53% 더 많이 드는 것을 의미합니다), 정확도는 떨어지지 않았습니다. 로봇이 바쁘다고 해서 사실을 틀리지는 않았습니다. 여기서도 메시지의 형식은 큰 영향을 미치지 않았습니다. 로봇은 실패하기에는 너무나 뛰어났습니다.

3. 진짜 드라마: "타이니 브레인" 릴레이

타이니 브레인으로 교체하면 상황은 흥미로워집니다. 여기서 비로소 "전화기 게임"이 실제로 깨지기 시작하는데, 매우 기묘한 방식으로 깨집니다.

인코딩의 대가: 타이니 브레인이 엄격한 형식(JSON이나 키-값 쌍 등)으로 메시지를 쓰려고 하면, 시작 단계에서 어려움을 겪습니다. 작은 뇌가 사실들을 엄격한 틀에 억지로 맞추는 것은 어렵기 때문에, 시작하자마자 약 20%의 사실을 잃어버립니다.
표류 방지 장치: 하지만, 일단 타이니 브레인이 메시지를 그 엄격한 JSON 박스 안에 집어넣고 나면, 마법 같은 일이 일어납니다. 그 엄격한 박스는 안전 벨트 역할을 합니다. 다섯 번의 인계가 더 진행되는 동안에도 JSON 박스 안의 사실들은 거의 표류하지 않습니다. 사실들은 제자리에 딱 붙어 있습니다.
자유 형식의 재앙: 반면, 타이니 브레인이 자유로운 텍스트로 글을 쓰면, 처음에는 강하게 시작하지만 점차 무언가를 잊어버리기 시작합니다. 여섯 번째 인계에 도달하면, 자유 형식의 텍스트 메시지는 엉망이 되어 사실들이 사방으로 흩어져 버립니다.

반전: 엄격한 형식(JSON)은 작은 로봇이 작성하는 데 어려움을 겪기 때문에 처음에는 더 나빠 보일 수 있지만, 시간이 흐름에 따라 메시지가 부패하는 것을 막아주기 때문에 결국 승리합니다. 자유 형식 텍스트는 초반에는 강해 보이지만 결국 무너집니다. 연구진은 약한 로봇을 사용할 때 가장 좋은 형식과 가장 나쁜 형식 사이의 정확도 차이가 강한 로봇을 사용할 때보다 8.7배 더 커졌다는 것을 발견했습니다.

4. 구조는 "충실한 메신저"이지, "마법의 해결사"가 아니다

이것이 이 논문이 발견한 가장 중요한 규칙입니다. 많은 이들이 엄격한 형식 안에 실수를 넣어두면, 그 형식이 마법처럼 실수를 고쳐줄 것이라고 기대합니다. 이 논문은 이를 명시적으로 부정합니다.
연구진은 체인 중간에 올바른 이름 하나를 가짜 이름으로 몰래 바꾸어 테스트했습니다.

결과: 가짜 이름이 나타나자, 모든 형식(JSON, 자유 텍스트, 트리플 등)이 그 가짜 이름을 끝까지 그대로 전달했습니다. 엄격한 박스는 오류를 수정하지 못했습니다. 그저 그 오류를 충실히 운반했을 뿐입니다.
연쇄 반응 없음: 또한, 가짜 이름이 다른 사실들을 망가뜨리는 연쇄 반응도 일어나지 않았습니다. 오류는 격리된 상태로 유지되었습니다.

따라서 구조는 충실한 배달원과 같습니다. 배달원에게 올바른 패키지를 주면 완벽하게 배달합니다. 만약 부서진 패키지를 준다면, 배달원은 그 부서진 패키지를 완벽하게 배달할 것입니다. 구조는 이동하는 동안 패키지를 수리하는 수리점이 아닙니다.

당신의 AI 팀을 위한 결론

AI 에이전트들이 서로 메시지를 주고받는 시스템을 구축하고 있다면 다음을 기억하세요:

사용 중인 AI가 매우 똑똑하다면 형식을 걱정하지 마세요. 어떤 방식이든 제 역할을 해낼 것입니다.
더 작고 저렴한 AI를 사용한다면, 긴 체인을 위해 반드시 엄격한 형식(JSON 등)을 사용해야 합니다. 작은 AI가 시작 단계에서 어려움을 겪더라도, 엄격한 박스가 메시지가 이동하는 동안 부패하는 것을 막아줄 것입니다.
형식이 실수를 바로잡을 것이라고 절대 기대하지 마세요. 로봇이 오류를 범한다면, 형식은 당신을 구해주지 못합니다. 스스로 검수해야 합니다.

요약하자면, 구조는 로봇을 더 똑똑하게 만드는 것도 아니고 실수를 고쳐주는 것도 아닙니다. 하지만 작은 로봇이 긴 릴레이 경주를 하고 있다면, 엄격한 박스만이 메시지가 무너지는 것을 막아줄 유일한 수단입니다.

기술 요약: 충실하되 교정적이지는 않음: 멀티홉 에이전트 릴레이에서의 메시지 형식 효과는 티어(Tier) 의존적이다

1. 문제 정의

멀리-에이전트 대규모 언어 모델(LLM) 시스템은 근본적으로 한 모델이 생성한 정보를 다른 모델이 소비할 수 있도록 재인코딩하는 릴레이 시스템으로 작동한다. 기존 문헌은 메시지 형식에 대해 상충하는 가이드를 제공한다. 어떤 연구는 구조화된 형식이 정확도를 희생하지 않으면서 비용을 줄일 수 있다고 제안하는 반면, 다른 연구는 엄격한 스키마가 추론 능력을 저하시킨다고 주장한다. 그러나 두 연구 모두 **멀티홉 릴레이(multi-hop relays)**의 구체적인 역학 관계를 다루지는 않았다. 단일 홉 교환에서 주요 과제는 생성 품질이지만, 멀티홉 체인에서는 복사 충실도(copy fidelity)(누적된 드리프트 방지)가 지배적인 과제가 된다. 릴레이 환경에서 형식 효과의 부호(sign)는 여전히 알려지지 않았으며, 특히 파이프라인이 릴레이 경계에서 인터-에이전트 불일치를 유발하는 소형화되고 비용 효율적인 모델을 점점 더 많이 배치함에 따라 더욱 중요하다.

2. 방법론

저자들은 모델의 능력 및 작업 복잡성을 분리하여 형식 효과를 격리하도록 설계된 통제된 릴레이 테스트베드를 도입한다.

그라운드 트루스(Ground Truth): 본 연구는 세 가지 도메인에 걸쳐 12개의 합성 원자적 사실(소유자, 수량, 마감일, 제약 조건, 의존성, 금지 사항)로부터 도출된 프로그래밍 방식의 그라운드 트루스를 사용한다. 충실도는 다른 모델의 생성이 아닌, 생성 모델의 출력물에 대해 측정된다.
릴레이 프로토콜: 작업 브리프(task briefs)는 **6개의 홉(hop)**에 걸쳐 홉 단위로 재인코딩된다. 각 에이전트는 이전 홉의 메시지만을 수신하며, 할당된 형식에 따라 전체 핸드오프를 다시 발행해야 한다.
형식(Formats): 구조적 스펙트럼을 아우르는 5가지 형식을 테스트했다:
1. FREE: 자유로운 자연어.
2. CONSTR: 정밀한 지침(동일한 숫자/이름)이 포함된 자연어.
3. JSON: 고정된 6개 키 스키마.
4. TRIPLES: 주어 | 서술어 | 목적어 형태의 라인.
5. KV: 평면적인 snake_case 키-값 라인.
역량 티어(Capability Tiers): 실험은 두 개의 서로 다른 릴레이 티어에서 수행되었다:
- Strong Tier: DeepSeek-v4-flash (API 모델).
- Weak Tier: Qwen2.5-1.5B-Instruct (4-bit 양자화, 로컬 실행).
- 결정적으로, 관찰된 왜곡이 약한 평가자의 산물이 아님을 보장하기 위해 하나의 고정된 강력한 모델이 평가자(grader) 역할을 수행했다.
지표:
- QA Recall (주 지표): 고정된 강력한 평가자가 홉 메시지를 기반으로 12개의 폐쇄형 질문에 답하며, 그라운드 트루스와의 정확한 토큰 매칭을 수행한다.
- String Recall (부 지표): 사실의 표면 형태(surface forms)에 대한 베리태팀(verbatim) 포함 여부(판단자 없이 측정).
실험 조건:
- Pure Relay: 표준 재인코딩.
- Cognitive Load (Strong Tier): 에이전트가 재인코딩 전 분석 단계를 수행하여 실제 환경의 프로세싱을 시뮬레이션한다.
- Paired-Fork Injection (Weak Tier): 특정 오류(소유자 이름)를 홉 3에서 프로그래밍 방식으로 주입한다. 체인은 "클린" 암(arm)과 "주입된" 암으로 분리되어 오류의 지속성과 부수적 피해를 측정한다.

3. 주요 결과

A. Strong Tier: 손실 없는 것에 가까운 릴레이

강력한 릴레이 모델 하에서는 "전화기 게임(telephone game)"식의 붕괴(점진적인 정확도 저하)가 발생하지 않는다.

6개의 홉 이후에도 모든 형식이 QA Recall $\ge 0.973$ 을 유지했다.
잔여 손실은 주로 첫 번째 인코딩 단계(홉 1)에 집중되어 있으며, 이후 홉에서 누적되지 않는다.
인지 부하(Cognitive Load): 홉당 분석 업무를 추가하면 생성 비용은 24~53% 증가하지만, 충실도에는 미미한 영향( $\pm 1.8$ 포인트 이내)을 미쳤다.
형식 효율성: 정밀 지침이 포함된 자연어(CONSTR)는 JSON보다 26% 적은 토큰으로 완벽한 리콜을 달달성했으며, 이는 강력한 모델에게 구조화된 스키마가 반드시 필요하지 않음을 시사한다.

B. Weak Tier: 티어 의존적 형식 효과

릴레이 역량이 떨어질 때(1.5B 모델), 역학 관계는 급격히 변한다. 홉 6에서의 리콜 간 형식별 분산(SD ratio)이 8.7배 커진다.

두 가지 상충하는 메커니즘:
1. 인코딩 비용(Encoding Toll): 엄격한 형식(JSON, KV)은 약한 모델에 높은 초기 비용을 부과하여, 자연어 형식에 비해 낮은 홉 1 리콜을 초래한다.
2. 드리프트 저항성(Drift Resistance): 일단 인코딩되면, 고정된 키를 가진 JSON 스키마는 강력한 닻 역할을 하여 누적된 드리프트에 저항한다. JSON은 홉 1~6 동안 4.7 포인트의 원시 손실만 입었으나, 자유 산문과 트리플 형식은 20 포인트 이상을 잃었다.
순위 역전(Ranking Flip): 이러한 상충하는 힘 때문에 전달 과정 중 형식 순위가 뒤바뀐다. JSON은 홉 1에서 4위(인코딩 비용 때문)로 시작하지만, 홉 6에서는 2위(드리프트 저항성 때문)로 마친다.
결론: 구조는 콘텐츠를 보존하지만, 그것을 수리하지는 못한다. "최적의" 형식은 파이프라인 내의 가장 약한 릴레이에 달려 있다.

C. 인과적 판정: 충실하되 교정적이지는 않음

쌍방향 포크 주입(paired-fork injection)을 사용하여, 스키마가 드리프트를 방지하는지 혹은 오류를 수정하는지 테스트했다.

지속성: 일단 오류가 주입되면, 모든 형식에서 **83~100%**의 확률로 최종 홉까지 충실하게 전파된다.
교정 불가: 어떤 형식도 주입된 오류를 "수정"하는 능력을 보이지 않았다.
연쇄 반응 없음: 단일 오류 주입이 주변 사실들에 가시적인 부수적 피해를 입히지는 않았다.
시사점: 구조는 오류를 교정하는 코드가 아니라, 오류를 국지화하는 충실하고 오류 국지화가 가능한 채널을 제공한다.

4. 기여

최초의 형식 제어 릴레이 연구: 저자들은 "형식 $\times$ 홉 $\times$ 역량" 설계 공간을 완성하여, "전화기 게임"식의 붕괴가 텍스트 릴레이 자체의 고유한 특성이 아니라 릴레이 역량과 작업 변환에 따라 달라지는 현상임을 입증했다.
역량 체계 식별: 본 연구는 형식 효과가 티어 의존적임을 확립한다. 프런티어 모델(강력한 모델)에서는 형식 선택이 거의 무료인 반면, 천장 아래(약한 모델)에서는 형식 선택이 결정적이며 인코딩 비용과 드리프트 저항성 사이의 트레이드오프에 의해 좌우된다.
메커니즘 분해: 약한 릴레이에서 발생하는 두 가지 상충하는 메커니즘(엄격한 스키마의 "인코딩 비용" vs 고정 키 스키마의 "드리프트 저항성")을 분리하여, 왜 JSON의 순위가 시간이 지남에 따라 역전되는지를 설명한다.
"스키마 예방"의 인과적 판정: 스키마가 오류를 교정하는 코드로 작용한다는 아이디어를 반박한다. 대신, 스키마는 오류를 증폭하거나 수리하지 않고 오류를 국지화하는 충실한 채널임이 밝혀졌다.

5. 의의 및 실무 지침

본 논문은 파이프라인이 릴레이 작업을 위해 소형화되고 비용 효율적인 모델에 점점 더 의존함에 따라, 메시지 형식이 스타일의 선택을 넘어 핵심적인 신뢰성 파라미터로 변화한다고 주장한다.

강력한 릴레이를 위한 경우: 정밀 지침이 포함된 자연어가 최적이며, 스키마 수준의 충실도를 제공하면서도 훨씬 적은 토큰 비용을 사용한다.
약한 릴레이를 위한 경우 (긴 체인): 초기 인코딩 비용에도 불구하고 고정 키 스키마(JSON)를 권장한다. 이는 자연어보다 여러 홉을 거치는 동안 콘텐츠를 보존하는 드리프트 저항성이 더 뛰어나기 때문이다.
일반 규칙: 형식 선택은 파이프라인 내의 가장 약한 릴레이에 의해 결정되어야 한다.
설계 시 시사점: 구조는 피해를 국지화하지만 수리하지는 못한다. 오류 교정이 필요한 시스템은 메시지 형식 자체가 데이터를 복구하지 않으므로, 명시적인 검증 및 재접지(re-grounding) 메커니즘을 구현해야 한다.

저자들은 "전화기 게임"이 LLM 파이프라인의 법칙이 아니라 역량에 따른 현상이며, 멀티홉 저하의 구체적인 메커니즘은 메시지 형식이라는 설계 선택에 따라 크게 달라진다고 결론짓는다.