Symbolic-Vector Attention Fusion for Collective Intelligence

1. 문제 정의 (Problem Definition)

기존의 다중 에이전트 시스템 (Multi-Agent Systems) 은 에이전트들이 공유 환경의 서로 다른 영역 (도메인) 을 관측할 때, 수신 에이전트가 어떤 정보를 흡수하고 어떤 정보를 배제해야 하는지에 대한 명확한 메커니즘이 부재했습니다.

• 핵심 문제: 이질적인 도메인 (예: 코딩 에이전트 vs 피트니스 에이전트) 에서 발생하는 신호는 관련 있는 차원과 관련 없는 차원이 혼재되어 있습니다. 기존 방식 (단일 벡터 코사인 유사도 등) 은 전체 신호를 하나의 벡터로 인코딩하여 거리만 계산하므로, 관련 없는 차원을 억제하고 관련 차원만 선택적으로 흡수하는 '도메인 간 신호 평가 (Cross-domain Signal Evaluation)'가 불가능했습니다.
• 기존 접근법의 한계:
  • 단일 벡터 유사도: 전체 신호를 하나의 점수로 평가하여, 중요한 정보와 불필요한 정보가 섞인 경우 (예: 코딩 에이전트의 '피로도' 신호를 피트니스 에이전트가 받으면 '기분'은 중요하지만 '코드 상세'는 불필요함) 를 구분하지 못함.
  • 중복성 (Redundancy) 과 신규성 (Novelty) 구분 불가: 의미는 같지만 표현만 다른 (Paraphrase) 신호를 새로운 정보로 잘못 인식하여 저장하는 문제가 발생.
  • 중앙 집중식 제어 부재: 수신 에이전트의 자율적인 판단 없이 중앙 오케스트레이터에 의존하거나, 도메인 특화적이지 않은 메모리 시스템만 존재함.

2. 방법론 (Methodology)

저자들은 **Symbolic-Vector Attention Fusion (SVAF)**을 제안했습니다. 이는 메쉬 메모리 프로토콜 (Mesh Memory Protocol, MMP) 의 4 계층 (Coupling Layer) 에서 작동하며, 에이전트 간 신호를 평가하고 '리믹스 (Remix)'하는 핵심 엔진입니다.

A. 구조적 기반: Cognitive Memory Blocks (CMB) 및 CAT7 스키마

• 모든 관측치는 7 개의 typed semantic fields(의미 필드) 로 구성된 CMB로 분해됩니다.
• CAT7 스키마 (7 필드):
  1. Focus: 주제 (무엇에 관한 것인가)
  2. Issue: 긴장/문제 (위험, 간극, 가설)
  3. Intent: 목표 (원하는 변화)
  4. Motivation: 동기 (이유, 동인)
  5. Commitment: 약속 (누가, 언제, 무엇을)
  6. Perspective: 관점 (누구의 시점, 상황적 맥락)
  7. Mood: 정서 (가치 -11, 각성 -11)
• Symbolic-Vector Dual Representation: 각 필드는 인간이 읽을 수 있는 **기호 텍스트 (Symbolic Text)**와 기계가 계산 가능한 **단위 정규화 벡터 (Vector Embedding)**를 동시에 가집니다.

B. SVAF 파이프라인 (4 단계)

1. 인코딩 (Encode): 공유 백본과 필드별 프로젝션 헤드를 통해 각 필드의 텍스트를 벡터로 변환.
2. 맥락화 (Contextualise): CMB 내 7 개 필드 간 **크로스 필드 어텐션 (Cross-Field Attention)**을 통해 필드 간 상호작용 (예: 부정적인 기분 + 높은 긴급성 = 스트레스) 을 학습.
3. 평가 (Evaluate): 수신 에이전트의 로컬 메모리 (Anchor) 와 비교하여 **학습된 퓨전 게이트 (Fusion Gate)**를 통해 각 필드의 수용 여부를 결정.
   • 밴드패스 모델 (Band-pass Model): 신호를 4 가지로 분류:
     • Redundant (중복): 모든 필드가 기존 메모리와 유사 (기존 지식과 동일).
     • Aligned (정렬): 신규且관련 있음 (완전 융합).
     • Guarded (경계): 중간 정도 관련성 (감쇠된 융합).
     • Rejected (거부): 관련 없음 (단, 'Mood' 필드는 예외적으로 전달됨).
4. 합성 (Synthesise): 수용된 필드들을 로컬 맥락과 비선형적으로 융합하여 새로운 지식 (Remix) 생성. 원본을 복사하지 않고, 수신 에이전트의 도메인 렌즈를 통해 재해석된 새로운 CMB 를 생성.

C. 2 단계 결합 아키텍처 (Two-Level Coupling)

• Peer-level (동료 수준): CfC(Closed-form Continuous-time) 신경망의 숨겨진 상태 (Hidden State) 를 기반으로 에이전트 간 인지적 거리를 측정 (Drift).
• Content-level (SVAF): 신호의 내용 자체를 필드 단위로 평가.
  • 핵심 특징: 동료가 '거부 (Rejected)'된 상태라도, 특정 신호 (예: 피트니스 에이전트의 '피로도' 신호) 는 SVAF 를 통해 '수용 (Aligned)'될 수 있음. 이는 콜드스타트 (Cold-start) 부트스트래핑을 가능하게 함.

D. 시간적 역동성 (Temporal Dynamics)

• SVAF 는 **무엇 (What)**이 인지 상태에 들어갈지 결정하고, Layer 6 의 CfC 신경망은 어떻게 (How) 그 상태가 진화할지 결정합니다.
• CfC 의 학습된 뉴런 시간 상수 ($\tau$) 를 통해:
  • Fast Neurons ($\tau < 5s$): 기분 (Mood) 등을 에이전트 간 초단위로 동기화.
  • Slow Neurons ($\tau > 30s$): 도메인 전문 지식을 영구적으로 보존.

3. 주요 기여 (Key Contributions)

1. 구조화된 도메인 간 평가 (C1): 7 개의 필드 (CAT7) 로 신호를 분해하여, 어떤 에이전트든 다른 도메인의 신호를 필드 단위로 평가할 수 있는 공통 스키마를 제시.
2. 필드 단위 평가 및 리믹스 (C2): 단순 복사가 아닌, 수신 에이전트의 맥락과 융합된 '새로운 지식 (Remix)'을 생성. 이 리믹스 그래프 (DAG) 가 집단 지성의 기반이 됨.
3. 프로토콜 수준의 컨텍스트 엔지니어링 (C3): LLM 이 처리할 컨텍스트 창에 들어가는 정보를 애플리케이션 레벨이 아닌 프로토콜 레벨 (SVAF) 에서 선별하여, LLM 의 추론 품질을 보장.
4. 실증적 교차 도메인 계층 구조 발견 (C4): 학습 과정에서 기분 (Mood) 필드가 정확도 plateau 에 도달하기 전 (1 에포크) 에 이미 가장 높은 가중치를 갖는 필드로 발견됨. 이는 LLM 내부의 정서 표현이 구조적으로 임베딩되어 있음을 기계적 해석 (Mechanistic Interpretability) 결과와 일치시킴.

4. 실험 결과 (Results)

• 데이터: 273 개의 내러티브 시나리오에서 생성된 237,000 개의 샘플 (273 개 시나리오, 20 개 에이전트 타입).
• 성능:
  • 3 클래스 분류 정확도: SVAF(신경망) 는 **78.7%**의 정확도를 달성.
  • 비교: 단일 벡터 코사인 유사도 (Scalar) 대비 11.9%p 향상, 휴리스틱 필드 단위 방식 대비 5.6%p 향상.
  • 특히 'Guarded'와 'Rejected' 클래스의 구분에서 성능이 두드러짐.
• 게이트 분석:
  • 학습된 퓨전 게이트는 외부 지시 없이 Mood를 가장 높은 가중치 (0.497) 를 갖는 필드로 자동 발견.
  • Focus(0.295), Issue(0.239) 는 중간, Perspective(0.056) 와 Intent(0.066) 는 낮게 평가됨. 이는 정서적 상태가 도메인 간 가장 보편적으로 관련 있음을 시사.
• 실제 배포 (Live Deployment):
  • macOS, iOS, Web 환경의 7 개 노드로 구성된 메쉬에서 실시간 검증.
  • 동료 결합 (Peer Coupling) 부트스트래핑: 초기 인지적 거리 (Drift) 가 0.936(거부) 이었던 두 에이전트가 SVAF 를 통해 관련 신호를 교환한 후, 한 사이클 만에 0.468(경계) 로 수렴함을 확인.
  • 지연 시간 (Latency): 휴리스틱 경로는 0.07ms로 매우 빠름 (실시간 배포 가능). 신경망 경로는 콜드 스타트 시 5.8 초, 워밍업 시 50~100ms.

5. 의의 및 결론 (Significance)

• 집단 지성의 새로운 패러다임: 중앙 집중식 오케스트레이션 없이, 에이전트들이 서로 다른 도메인을 관측하더라도 SVAF 를 통해 선택적 흡수와 리믹스를 수행함으로써 집단 지성이 자연스럽게 발현됨을 증명.
• 도메인 중립성 (Domain Agnostic): 새로운 에이전트가 메쉬에 참여할 때 프로토콜 변경 없이 자신의 도메인별 필드 가중치 ($\alpha_f$) 만 정의하면 됨.
• LLM 컨텍스트 최적화: 다중 에이전트 시스템에서 LLM 의 가장 큰 병목인 '컨텍스트 엔지니어링'을 프로토콜 레벨에서 해결하여, LLM 이 불필요한 정보 없이 고품질의 관련 정보만 추론하도록 함.
• 실용성: 의료 (환자 모니터링 $\times$ 치료 조정), 물류 (장애물 탐지 $\times$ 경로 계획), 연구 팀 등 다양한 이질적 에이전트 협업 시나리오에 적용 가능.

이 논문은 다중 에이전트 시스템이 단순한 통신을 넘어, 의미 있는 지식의 융합과 진화를 통해 진정한 집단 지성을 달성할 수 있는 기술적 토대 (SVAF + CfC) 를 제시했다는 점에서 의의가 큽니다.