기술 요약: 독립형 LLM 에서 통합 지능으로: 복합 AI 시스템에 대한 조사

1. 문제 제기

대규모 언어 모델 (LLM) 이 기초 AI 인프라로 진화했음에도 불구하고, 동적인 실제 환경에서의 배포를 저해하는 고유한 구조적 한계를 지니고 있습니다. 이러한 한계에는 할루시네이션(유창하지만 사실과 다른 출력), 구식화(학습 후 지식에 접근하지 못함), 그리고 제한된 추론(다중 홉 추론 및 장기 과제 분해를 제약하는 유한한 컨텍스트 창) 이 포함됩니다.

이러한 장벽을 극복하기 위해 커뮤니티는 **복합 AI 시스템 (Compound AI Systems, CAIS)**으로 수렴하고 있습니다. CAIS 는 검색기, 도구 활용 에이전트, 심볼릭 플래너, 메모리 모듈, 멀티모달 인코더와 같은 전문 외부 구성 요소와 LLM 을 통합하는 모듈식 확장 가능 아키텍처로 정의됩니다. 그러나 채택이 증가하고 있음에도 불구하고 CAIS 환경은 여전히 파편화되어 있습니다. 기존 문헌은 특정 RAG 조사, 에이전트 프레임워크, 또는 최적화 방법과 같은 고립된 구성 요소들을 다루지만, 전체 스택에 걸친 상호작용을 종합하는 분석, 분류 체계, 그리고 평가를 위한 통합된 시스템 수준 프레임워크는 부족합니다.

2. 방법론

저자들은 네 가지 주요 학술 데이터베이스 (ACM 디지털 라이브러리, arXiv, IEEE Xplore, Semantic Scholar) 에 대한 구조화된 문헌 검색과 최상위 컨퍼런스 논문집 (ACL, NeurIPS, ICML, CVPR 등) 에 대한 수동 검사를 기반으로 체계적인 조사를 수행했습니다.

• 검색 범위: GPT-3 와 획기적인 RAG 작업이 도입된 시기를 대상으로 2020 년부터 2026 년 초까지의 간행물.
• 선정 기준: LLM 을 주요 추론 구성 요소로 사용하고 하나 이상의 외부 모듈 (검색기, 도구, 메모리, API, 인코더, 또는 오케스트레이션 프레임워크) 과 결합하며, 새로운 실증 결과, 아키텍처, 또는 체계적 분석을 제시한 논문.
• 최종 코퍼스: 약 220 편의 논문이 유지 및 분석되었습니다.
• 분류 체계 구축: 저자들은 환경을 네 가지 직교 축으로 구성했습니다: 검색 증강 생성 (RAG), LLM 에이전트, 멀티모달 LLM(MLLM), 그리고 오케스트레이션.

3. 주요 기여

A. 다차원 분류 체계 및 통합 프레임워크

본 논문은 CAIS 를 함수 $f(L, C, D)$로 공식화하여 제시합니다. 여기서:

• $L$: LLM 의 집합 (일반 또는 파인튜닝).
• $C$: 외부 구성 요소의 집합 (도구, 검색기, 인코더 등).
• $D$: 아키텍처, 토폴로지, 조정을 정의하는 시스템 설계.

본 조사는 네 가지 기본 축을 통합된 프레임워크로 결합합니다:

1. RAG: 외부 비파라메트릭 메모리에 LLM 을 기반을 두는 것.
2. LLM 에이전트: 반복적 루프에서의 자율적 의사결정, 계획 수립, 도구 사용.
3. MLLM: 텍스트가 아닌 모달리티 (이미지, 오디오, 비디오) 를 지각하고 추론하도록 LLM 확장.
4. 오케스트레이션: 모든 구성 요소를 통합하는 구조적 및 조정 설계.

B. 비교 분석 및 트레이드오프

본 논문은 각 축에 대한 설계 트레이드오프를 정제하는 네 가지 구조화된 비교 표를 제공합니다:

• RAG 검색기 패러다임 (표 2): 지연 시간, 재현율, 확장성, 해석 가능성, 도메인 특이성을 기준으로 희소 (Sparse), 밀집 (Dense), 그래프 (Graph), 하이브리드 (Hybrid), 그리고 LLM-as-Retriever 접근 방식을 비교합니다. 하이브리드 검색기가 종종 가장 높은 재현율을 달성하는 반면, LLM-as-retriever 는 높은 추론 비용 대비 유연성을 제공함을 강조합니다.
• LLM 에이전트 추론 프레임워크 (표 3): 체인 오브 씽킹 (Chain-of-Thought), ReAct, 트리의 생각 (Tree of Thoughts), 리플렉션 (Reflexion), 그리고 셀프-RAG(Self-RAG) 와 같은 프레임워크를 분석합니다. ReAct 가 도구 사용을 위한 가장 널리 채택된 기준선임을 지적하지만, 트리의 생각은 깊은 계획 수립에 높은 컴퓨팅 비용을 요구하며, 리플렉션은 메모리를 통한 강력한 오류 복구를 제공함을 밝힙니다.
• MLLM 아키텍처 (표 5): 퓨전 전략 (크로스 어텐션, Q-Former 브리징, 선형 프로젝션, 네이티브 엔드투엔드) 을 비교합니다. 네이티브 엔드투엔드 학습 (예: Gemini) 은 강력한 추론을 제공하지만, 모듈식 접근 방식 (예: LLaVA, BLIP-2) 은 더 나은 효율성과 업그레이드 가능성을 제공함을 식별합니다.
• 오케스트레이션 프레임워크 (표 7): 토폴로지, 조정 메커니즘, 도구 지원을 기반으로 LangChain, AutoGen, DSPy, CrewAI 와 같은 프레임워크를 평가합니다.

C. 표준화 및 상호운용성 환경

본 조사는 신흥 표준화 스택을 3 층 아키텍처로 매핑합니다:

1. 스키마 계층: 구조화된 도구 인터페이스 (예: OpenAI 함수 호출, JSON 스키마).
2. 도구 접근 프로토콜 계층: AI 시스템과 외부 도구 서버 간의 통신을 표준화하는 모델 컨텍스트 프로토콜 (MCP).
3. 에이전트 상호운용성 계층: 에이전트 간 (A2A), 에이전트 통신 프로토콜 (ACP), 에이전트 네트워크 프로토콜 (ANP), 그리고 **에이전트 사양 (Agent Spec)**을 포함한 교차 프레임워크 프로토콜.
   저자들은 상호운용성이 단일 보편적 표준이 아닌 "번역과 계층화 (어댑터 및 중간 표현)"를 통해 수렴하고 있다고 주장합니다.

D. 평가 방법론

본 논문은 네 가지 축에 걸친 벤치마크를 검토하며, 통합된 시스템 수준 지표의 지속적인 격차를 지적합니다.

• RAG: HotpotQA 및 BEIR 와 같은 데이터셋을 사용하여 검색 품질 (MRR, nDCG) 과 생성 사실성 (EM, F1) 을 평가.
• 에이전트: 역할 충실도, 추론 추적 정확도, 도구 사용 효율성을 평가.
• MLLM: 시각적 QA, 문서 이해, 안전성 정렬 (예: MM-SafetyBench) 을 테스트.
• 오케스트레이션: 인프라 성능 (처리량, 지연 시간) 및 시스템 조정 지표를 통해 측정.

4. 결과 및 발견

• 시스템 복잡성: CAIS 는 상당한 엔지니어링 오버헤드를 도입합니다. 통합 구성 요소의 수가 증가함에 따라 디버깅 및 최적화는 초선형적으로 어려워집니다.
• 실패 모드: 본 조사는 MLLM 의 특정 실패 모드 (시각적 할루시네이션, 교차 모달 불일치) 를 식별하여 이러한 오류가 전체 CAIS 파이프라인을 통해 전파됨을 확인합니다.
• 설계 트레이드오프: 단일 최적 구성은 존재하지 않습니다. 예를 들어, 밀집 검색기는 의미적 유사성을 포착하지만 희소 방법의 해석 가능성을 결여하며, 마찬가지로 엔드투엔드 MLLM 학습은 강력한 성능을 제공하지만 모듈성을 희생합니다.
• 표준화 격차: MCP 와 같은 프로토콜이 주목을 받고 있지만, 표준화된 인터페이스에 대한 보안 거버넌스 (인증, 샌드박싱) 는 미비하여 새로운 공격 표면이 도입되고 있습니다.

5. 중요성 및 주장

본 논문은 복합 AI 시스템에 대한 첫 번째 포괄적이고 교차 축 시스템 수준의 종합으로서 자신의 위치를 설정합니다. 그 중요성은 다음과 같습니다:

1. 파편화된 연구의 통합: RAG, 에이전트, 멀티모달 모델에 대한 고립된 조사 간의 간극을 메우며, 공유 어휘와 개념적 프레임워크를 제공합니다.
2. 설계 청사진 제공: $f(L, C, D)$ 모델을 공식화하고 트레이드오프를 분석함으로써, 연구자와 실무자에게 "독립형 솔로"를 넘어 "이질적 AI 앙상블의 오케스트레이터"로 나아가는 차세대 AI 시스템 설계의 기반을 제공합니다.
3. 중요한 과제 식별: 엔드투엔드 학습 가능한 파이프라인, 인터랙티브/멀티모달 작업을 위한 통합 평가 지표, 그리고 상호운용성을 위한 강력한 거버넌스 프레임워크의 필요성을 포함한 열린 연구 방향을 명시적으로 제시합니다.

저자들은 CAIS 가 실제 세계, 멀티모달, 인터랙티브 환경으로 확장됨에 따라 검색, 에이전시, 지각, 오케스트레이션을 종합하는 시스템 수준 관점이 이 분야를 발전시키는 데 필수적이라고 결론지었습니다.