기술 요약: DynaGraph

문제 제기

복잡한 추론 작업 (예: 다단계 질문 답변, 수학적 추론, 금융 분석) 에 대한 기존 접근법은 중요한 이분법에 직면해 있습니다. **단일화 대형 언어 모델 (LLM)**은 강력한 추론 능력을 제공하지만 심각한 계산적 중복과 높은 메모리 오버헤드로 고통받으며, 종종 소비자 하드웨어에서 접근 불가능한 막대한 파라미터 수 (예: 70B 이상) 를 요구합니다. 반면, 다중 에이전트 또는 구조화된 파이프라인 접근법은 작업을 분해하려 시도하지만 통제 가능성과 유연성 사이의 트레이드오프에 시달립니다:

1. 정적 DAG 파이프라인: 오버헤드가 예측 가능하지만 반응형 복구 메커니즘이 부족합니다. 국소적 오류는 필연적으로 누적되어 연쇄적 실패로 이어집니다.
2. 제약 없는 동적 에이전트: 자율성을 제공하지만 반복적인 시행착오로 인해 궤적 이탈, 메타인지 환각, 예측 불가능한 메모리 팽창에 취약합니다.

핵심 과제는 엄격하게 통제된 계산 예산 하에서 수렴적이고 효율적인 자기 수정을 달성하는 협력 시스템을 개발하는 것입니다.

방법론

DynaGraph는 동적 위상 재구성에 의해 구동되는 경량 다중 모델 프레임워크입니다. 이는 실시간 피드백 루프를 통해 정적 작업 스케줄링에서 적응형 위상 진화로 전환합니다.

1. 아키텍처 및 실행

• 경량 멀티플렉싱: 시스템은 공유된 고정된 베이스 모델 ($W_0$) 을 사용하고 다양한 도메인 전문가 (사실성 검색, 논리적 추론, 표현) 를 위해 시간 분할 PEFT(파라미터 효율적 미세 조정) 어댑터 (특히 LoRA) 를 멀티플렉싱합니다.
• 메모리 효율성: 지향성 비순환 그래프 (DAG) 의 실행 순서에 따라 어댑터를 원자적으로 언로드하고 로드함으로써, 시스템은 전문가 풀 크기와 관계없이 일정한 $O(1)$ GPU 메모리 풋프린트를 유지합니다. 이를 통해 단일 소비자 등급 GPU (예: RTX 5090) 에서 복잡한 다중 모델 추론이 가능해집니다.
• 상태 공간: 시스템은 작업 해결을 그래프 $G(t) = (V(t), E(t))$로 형식화합니다. 각 노드 $v_i$는 특정 전문가가 실행하는 하위 작업을 나타내며, 출력, 예외 플래그, 신뢰도 점수를 포함하는 구조화된 피드백 튜플 $F_i = \langle o_i, \xi_i, c_i \rangle$을 반환합니다.

2. 적응형 위상 자기 치유

중앙 **평가자 (Evaluator)**는 실행 신뢰도와 불확실성을 지속적으로 모니터링합니다. 이상 (낮은 신뢰도, 형식 편차, 논리적 단절) 을 감지하면 계층적 자기 치유 메커니즘이 발동됩니다:

• 세밀한 패칭: 국소적 데이터 결손이나 사소한 계산 오류의 경우, 시스템은 전체 그래프를 방해하지 않고 특정 중단점을 봉합하기 위해 보조 "패치" 노드를 동적으로 삽입합니다.
• 서브그래프 재구성: 심각한 논리적 단절이 발생하거나 전역 불확실성이 임계값을 초과할 경우, 시스템은 손상된 분기를 잘라내고 새로운 서브그래프를 재생성하여 오류 전파를 방지합니다.
• 예산 제약: 무한 재귀를 방지하기 위해 누적 재구성 횟수 ($\eta$) 가 제한됩니다. 임계값에 도달하면 시스템은 폴백 메커니즘을 호출합니다.

3. 크리틱 안내 DPO 를 통한 학습

그래프 생성 및 재구성을 담당하는 중앙 **플래너 (Planner)**는 **직접 선호도 최적화 (DPO)**를 사용하여 학습됩니다.

• 위상 크리틱: 복합 보상 함수 $R(\tau)$는 세 가지 차원 (작업 완료 (정확도/환각 확인), 행동 합법성 (순환 감지), 시스템 오버헤드 (불필요한 노드 패널티)) 을 기반으로 실행 궤적을 평가합니다.
• 최적화: 플래너는 불안정한 보상 모델 학습을 우회하여 거부된 궤적보다 높은 보상을 받는 궤적의 확률을 최대화하도록 미세 조정됩니다.

주요 기여

1. 경량 아키텍처: DynaGraph 는 공유 베이스 모델 위에 시간 분할 PEFT 어댑터를 멀티플렉싱하여 피크 GPU 메모리를 약 16.6GB 로 제한합니다. 이는 기존 다중 에이전트 시스템이 비교 가능한 성능을 내기 위해 다중 GPU 설정이 필요했던 것과 달리, 단일 소비자 GPU 에서 8B 규모 다중 모델 추론을 가능하게 합니다.
2. 적응형 위상 자기 치유: 이 프레임워크는 구조와 자율성 사이의 균형을 맞추는 상태 인식 재구성 메커니즘을 도입합니다. 세밀한 패칭과 서브그래프 재구성 사이를 동적으로 전환하여 연쇄적 오류를 차단하면서도 추론 수렴을 보장합니다.
3. 효율성과 성능: 시스템은 8B 모델에서 72B 단일화 모델과 근접한 추론 능력을 달성하면서도, 제약 없는 동적 아키텍처에 비해 지연 시간과 토큰 소비를 크게 줄였습니다.

실험 결과

DeepSeek-8B 베이스 모델을 사용하여 StrategyQA, MATH, FinQA에서 평가했습니다:

• 성능: DynaGraph 는 StrategyQA 에서 87.6%, MATH 에서 82.7%, FinQA 에서 **82.5%**를 달성했습니다. 특히 MATH 에서 8B DynaGraph(82.7%) 는 72B 기준 모델 (89.2%) 의 성능과 근접했습니다.
• 효율성: Reflexion 과 같은 제약 없는 동적 베이스라인과 비교하여 DynaGraph 는 토큰 소비를 최대 68.6%, 지연 시간을 최대 68.1% 감소시켰습니다. 예를 들어, FinQA 에서 지연 시간은 Reflexion 의 86.9초에서 30.2초로 감소했습니다.
• 자원 사용: 시스템은 16.6GB의 안정적인 피크 GPU 메모리를 유지하여 $O(1)$ 메모리 상한을 입증한 반면, 정적 3 에이전트 8B 베이스라인은 49.5GB 이상이 필요했습니다.
• 절제 실험: 세밀한 패칭을 제거하면 지연 시간이 크게 증가했습니다 (예: StrategyQA 에서 +92.2%). 반면 서브그래프 재구성을 제거하면 MATH 에서 정확도가 붕괴되었습니다 (82.7% 에서 41.5% 로 하락), 이는 서로 다른 오류 유형에 대해 두 메커니즘 모두 필요함을 확인시켜 주었습니다.

의의 및 주장

이 논문은 DynaGraph 가 회복력 있고 적응적인 다중 모델 상호작용을 향한 중요한 걸음이라고 주장합니다. 실행 구조를 정적 위상에서 분리함으로써 기존 프레임워크의 "딜레마"를 해결합니다: 정적 파이프라인의 취약성과 제약 없는 에이전트의 예측 불가능성을 모두 피합니다.

저자들은 그들의 접근 방식이 대규모 모델의 견고성을 희생하지 않으면서 소비자 등급 하드웨어에서 복잡한 추론을 가능하게 한다고 강조합니다. 이 프레임워크는 동적 위상 개입이 파라미터 규모로 부과된 본질적인 능력 제한을 부분적으로 완화할 수 있음을 보여주며, 막대한 단일화 파라미터 수에 의존하지 않는 효율적이고 자기 수정적인 AI 시스템으로 가는 길을 제시합니다.

인정된 한계:
저자들은 시간 분할 멀티플렉싱이 순차적 실행을 강제하여 하위 작업의 병렬 처리를 불가능하게 하고 어댑터 전환 오버헤드를 유발한다고 지적합니다. 또한, 현재 평가는 영어 중심 데이터셋으로 제한되어 있으며, 전문 도메인이나 형태론적으로 풍부한 언어에 대한 지역 전문가 자기 보정 의존성은 추가적인 탐구가 필요할 수 있습니다. 대규모 모델 (70B 이상) 에 대한 확장 법칙은 여전히 열린 질문입니다.