기술 요약: 더 많다고 항상 좋은 것은 아님: LLM 에이전트 스캐폴딩의 교차 구성 요소 간섭

문제 제기

대형 언어 모델 (LLM) 에이전트를 구축하는 표준 패러다임은 '스캐폴딩 (scaffolding)'을 포함합니다. 즉, 기본 모델에 계획 모듈, 도구 인터페이스, 메모리, 자기 성찰, 검색 등의 기능적 구성 요소 스택을 추가하여 확장하는 것입니다. 해당 분야의 지배적인 가정은 구성 요소를 더 추가할수록 성능이 향상된다는 것 ("더 많을수록 좋다") 입니다. 본 논문은 **교차 구성 요소 간섭 (Cross-Component Interference, CCI)**을 조사함으로써 이러한 가정에 도전합니다. CCI 는 스캐폴딩 구성 요소를 결합할 때 음의 한계 수익이 발생하여 전체 '올인 (All-In)' 시스템이 해당 구성 요소들의 특정 부분집합보다 낮은 성능을 보이는 현상입니다.

방법론

저자들은 에이전트 구성 요소의 상호작용 지형을 매핑하기 위해 체계적인 전 요인 (full-factorial) 실증 연구를 수행했습니다.

• 실험 설계: 다섯 가지 표준 스캐폴딩 구성 요소의 모든 $2^5 = 32$개의 부분집합에 대한 전 요인 설계:
  1. 계획 (Planning, P): 작업을 하위 목표로 분해.
  2. 도구 사용 (Tool Use, T): 함수 호출 인터페이스.
  3. 메모리 (Memory, M): 구조화된 작업 메모리.
  4. 구조적 추론 (Structured Reasoning, SR): 사고 연쇄 (Chain-of-thought) 포맷팅.
  5. 성찰 (Reflection, R): 자기 평가 프롬프트.
• 벤치마크 및 모델: 실험은 두 가지 벤치마크에서 수행되었습니다: HotpotQA(멀티홉 추론, 검색 중심) 및 GSM8K(수학 추론). 연구는 세 가지 모델 계열과 다섯 가지 규모에 걸쳐 진행되었습니다:
  • Llama-3.1 (8B, 70B)
  • Qwen2.5 (3B, 7B)
  • Claude Haiku 4.5 (AWS Bedrock 를 통해)
• 규모: 연구는 118 개의 통제된 구성과 32,000 회 이상의 평가를 포함했습니다. 주요 구성은 10 개의 무작위 시드에서 검증되었습니다 (HotpotQA/8B 기준 16,000 회 평가).
• 통계 분석: 저자들은 쌍체 t-검정, 윌콕슨 부호 순위 검정, 베이지안 분석 (JZS 사전분포), 그리고 효과 크기 측정 (Cohen's $d_z$) 을 활용했습니다. 구성 요소에 대한 가치 할당을 위해 정확한 Shapley 값 분해를 사용했으며, 서브모듈러리티 위반을 테스트했습니다. 상호작용 구조를 특성화하기 위해 회귀 모델 (주효과 대 쌍별 상호작용) 을 적합시켰습니다.

주요 결과

1. 교차 구성 요소 간섭 (CCI) 의 보편성

테스트된 모든 설정에서, 구성 요소의 최상의 적절한 부분집합은 전체 '올인' 시스템의 성능과 일치하거나 이를 초과했습니다.

• HotpotQA (Llama-3.1-8B): 단일 도구 에이전트 (도구 사용만) 는 5 개 구성 요소 올인 시스템보다 32% 더 높은 성능을 보였습니다 (F1 0.233 대 0.177; $p=0.023$). 도구 사용 기준선에 어떤 구성 요소를 추가하더라도 6 가지 확장 중 5 가지에서 성능이 저하되었습니다.
• GSM8K (Llama-3.1-8B): 최적의 구성은 세 가지 구성 요소 (도구 사용 + 구조적 추론 + 성찰) 를 필요로 했으며, 올인 시스템보다 79% 높은 정확도 (0.43 대 0.24) 를 달성했습니다.
• 최적 개수 ($k^*$): 최적의 구성 요소 수는 작업에 따라 다릅니다 (HotpotQA 의 경우 $k^*=1$, GSM8K 의 경우 $k^*=3$) 그리고 규모에 민감합니다.

2. 규모 및 모델 의존성

CCI 심각도는 능력 기울기를 따릅니다:

• 8B 모델: CCI 가 강력하고 광범위합니다.
• 70B 모델: CCI 는 약화되었지만 여전히 존재합니다. HotpotQA 에서 최상의 부분집합과 올인 시스템 간의 격차는 8B 의 32% 에서 70B 의 19% 로 축소되었습니다. 주목할 점은 일부 구성 요소에 대해 간섭의 방향이 반전되었다는 것입니다 (예: 성찰 추가는 70B 에서는 도움이 되었지만 8B 에서는 해로웠음). 그럼에도 불구하고 올인 시스템은 최상의 부분집합보다 성능이 더 좋지는 않았습니다.
• Claude Haiku 4.5: CCI 는 노이즈 수준 내에서 포화되었습니다. 올인 시스템이 더 간단한 부분집합보다 나쁘지는 않았지만, 도구 사용 이상의 추가 구성 요소는 거의 기여하지 않았습니다 (0.2% 증가). 이는 복잡성이 0 의 한계 수익을 낳는 '플라토 (plateau)'를 나타냅니다.

3. 구조적 분석 및 상호작용 모델

• 주효과 우세: 6 매개변수 주효과 회귀 모델은 분산의 91.6% ($R^2=0.916$) 를 설명하여 16 매개변수 쌍별 상호작용 모델 ($\Delta BIC = 25.3$) 을 압도적으로 능가했습니다. 이는 CCI 가 주로 가산적임을 시사하며, 구성 요소는 맥락에 관계없이 상대적으로 일정한 한계 비용 또는 편익을 부과함을 의미합니다.
• Shapley 값: 도구 사용은 총 스캐폴딩 가치의 **70%**를 차지했습니다. 반면, 계획은 유의미하게 음의 Shapley 값 ($\phi = -0.029$) 을 가졌으며, 메모리는 HotpotQA 에서 방향적으로 음의 영향을 미쳤습니다.
• 비서브모듈러리티: 연구는 325 개의 테스트 가능한 삼중항 중 183 개의 서브모듈러리티 위반 (56.3%) 을 발견했습니다. 중앙값 서브모듈러리티 비율은 $\gamma_{med} = 0.52$였습니다. 특히 상위 위반의 90% 가 **부호 반전 (sign-flipping)**을 보였습니다: 고립 상태에서는 해로운 구성 요소가 특정 조합에서는 유익해졌습니다 (예: 구조적 추론은 도구 사용 단독으로는 해로웠지만 계획과 성찰과 결합되었을 때는 도움이 됨). 이로 인해 탐욕적 선택 전략은 경험적으로 신뢰할 수 없게 됩니다.

4. 견고성

• 교차 계열 복제: 정성적 패턴 (도구 사용이 우세하고, 올인은 최적이지 않음) 은 Qwen2.5 및 Llama 계열 전반에 걸쳐 복제되었습니다.
• 템플릿 견고성: 핵심 발견은 세 가지 의미상 동등한 프롬프트 템플릿 변형 전반에 걸쳐 유효했으나, 세밀한 구성 순위는 문구에 민감했습니다.
• 길이 통제: 실제 구성 요소는 길이 일치 무의미 패딩보다 6~9 배 더 높은 성능을 보였으며, 이는 CCI 가 토큰 수가 아닌 의미적 내용에 의해 주도됨을 확인시켜 주었습니다.

중요성 및 주장

본 논문은 프롬프트 기반 스캐폴딩에 있어 "더 많을수록 좋다"는 가정이 체계적으로 잘못되었다고 주장합니다. 저자들은 다음과 같이 논합니다:

1. 실무자 기본 설정의 결함: 최대 장비가 된 에이전트를 배포하는 기본 설정은 간섭으로 인해 성능 저하를 초래합니다.
2. 작업별 선택의 필요성: 최적의 에이전트 설계는 모든 사용 가능한 모듈을 쌓는 것이 아니라 상호작용 인식을 갖춘 분석에 기반한 작업별 부분집합을 선택해야 합니다.
3. 탐욕적 선택의 실패: 부호 반전과 비서브모듈러리티로 인해 한 번에 하나씩 구성 요소를 추가하여 한계 수익이 음수가 될 때까지 진행하는 것은 최적 에이전트 구성을 찾는 데 신뢰할 수 없는 전략입니다.
4. 메커니즘: 본 논문은 CCI 를 다중 작업 학습의 경사 충돌에 대한 추론 시간 유사체인 '컨텍스트 창 혼잡 (context-window crowding)'의 한 형태로 규명합니다. 여기서 구성 요소들이 주의를 경쟁하거나 신호를 희석시키지만, 정확한 인과 메커니즘은 여전히 열린 질문으로 남아 있습니다.

연구는 더 큰 모델 (70B 이상) 과 매우 능력이 뛰어난 폐쇄형 소스 모델 (Claude Haiku) 이 더 넓은 구성 요소 조합을 견딜 수 있지만, 모든 테스트된 규모에서 가장 간단하고 적절한 스캐폴딩이 항상 전체 에이전트와 일치하거나 능가한다고 결론지었습니다.