기술 요약: ARIS – 사회용 로봇을 위한 에이전트 및 관계 지능 시스템

1. 문제 제기

기초 모델 (LLM 및 VLM) 이 풍부한 지각과 의사소통을 가능하게 함으로써 사회용 로봇 기술이 발전했음에도 불구하고, 현재 시스템은 대규모 다회전 참여, 사회적 관계 추론, 그리고 맥락 기반 대화에서 치명적인 한계에 직면해 있습니다. 기존 아키텍처는 주로 작업 수행과 물리적 조작을 목표로 하며 사회적 지능보다는 이에 초점을 맞추고 있습니다. 결과적으로 로봇은 다음과 같은 어려움을 겪습니다:

• 개인 간의 사회적 관계 (예: 가족, 동료) 를 표현하거나 추론하는 것.
• 유한한 컨텍스트 창과 증가하는 추론 지연 시간으로 인해 밀집된 장기 상호작용에서 역사적 일관성과 반응성을 유지하는 것.
• 통합된 프레임워크 내에서 사회적 인지 능력을 물리적 구현과 통합하는 것.

2. 방법론

저자들은 **ARIS(Agentic and Relationship Intelligence System)**를 제안합니다. 이는 멀티모달 추론, 그래프 기반 사회적 세계 모델 (Social World Model), 그리고 검색 증강 생성 (RAG) 을 통합하도록 설계된 모듈형 에이전트 AI 프레임워크입니다. 이 시스템은 엣지 - 클라이언트 - 서버 아키텍처를 사용하여 **Pepper Robot(v1.8)**에 배포됩니다.

2.1 시스템 아키텍처

• 엣지 (로봇): Pepper 로봇은 사용자 인터페이스 역할을 수행하며, 오디오 - 비주얼 스트림을 캡처하고 물리적 행동 (제스처, 춤) 을 실행합니다.
• 클라이언트: 오디오 - 비주얼 스트림을 전송을 위해 gRPC 패킷으로 캡슐화하는 Raspberry Pi 5 입니다.
• 서버: 입력을 처리하는 NVIDIA RTX 4090 서버입니다. 여기서는 음성 전사를 위해 Whisper-large-v3를, 추론을 위해 Grok 2 LLM 을 활용합니다.
• 모듈형 추론 엔진: "Reasoner" 모듈은 컨텍스트에 따라 적절한 행동 (음성, 비주얼, 또는 물리적 구현) 을 선택하기 위해 API 라이브러리를 참조합니다.

2.2 핵심 구성 요소

A. 사회적 세계 모델 (SWM)

• 구조: 노드가 사용자 (Person Nodes) 를 나타내고 엣지가 관계(예: 친구, 가족) 를 나타내는 그래프 기반 지식 그래프 (Neo4j) 입니다.
• 기능: 시스템은 LLM 을 사용하여 대화에서 관계적 단서를 추출하여 연결을 추론합니다 (예: "X 는 Y 의 상사입니다"). 이는 Cypher 쿼리를 통해 그래프를 업데이트하며, 미지의 사용자를 위한 새 노드를 생성하거나 이름 매칭을 위해 Levenshtein 거리를 사용하여 기존 노드를 병합합니다.
• 속성: 이 모델은 특정 Person Nodes 와 연결된 사용자 속성 (관심사, 직업) 을 저장하여 개인화된 상호작용을 가능하게 합니다.

B. RAG 기반 음성 파이프라인

• 설계: 컨텍스트 창 제한과 계산 비용을 해결하기 위해 ARIS 는 RAG 파이프라인을 사용합니다. 대화 기록은 Person Nodes 와 연결된 Message Nodes(사용자 입력 + 로봇 응답) 로 저장됩니다.
• 검색 전략: 입력을 받으면 시스템은 다음을 검색합니다:
  1. 즉각적인 연속성을 위한 가장 최근의 메시지 20 개.
  2. 맥락을 제공하기 위해 의미상 가장 가까운 메시지 20 개(1536 차원 OpenAI 임베딩 및 HNSW 인덱싱 사용).
  3. 검색된 메시지의 즉각적인 선행 및 후행 메시지가 포함되며, 총 컨텍스트는 80 개 메시지로 제한됩니다.
• 실행: 검색된 컨텍스트는 LLM(Grok 2) 에 입력되어 응답을 생성한 후, 그래프에 추가됩니다.

C. 멀티모달 통합

• 비주얼: 시각적 컨텍스트가 필요할 때 비주얼 언어 모델 (Grok-2-Vision) 이 캡션 생성기로 작동합니다.
• 재식별 (ReID): 모듈은 15 프레임을 다수결 투표로 처리하여 개인에게 고유한 얼굴 ID 를 할당하고, 이를 SWM 의 해당 Person Node 와 연결합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. HRI 를 위한 사회적 세계 모델: 인간 - 인간 관계를 명시적으로 매핑하고 업데이트하는 그래프 기반 표현으로, 로봇이 사회적 연결을 추적하고, 만남을 통해 사용자를 재식별하며, 관계 데이터에 기반한 맥락 인식 대화를 생성할 수 있게 합니다.
2. 효율적인 RAG 파이프라인: 하이브리드 의미 및 최근성 인식 검색을 사용하는 새로운 검색 메커니즘입니다. 이를 통해 로봇은 수천 번의 교환에 걸쳐 맥락 기반 대화를 유지하면서도 유한한 지연 시간과 응답 관련성을 유지할 수 있습니다.
3. 시스템 통합 및 검증: 음성, 비주얼, 물리적 행동을 조정하는 모듈형 에이전트 아키텍처로 이러한 구성 요소를 통합했습니다. 이 시스템은 LLM 만을 사용하는 베이스라인에 대해 경험적으로 검증되었습니다.

4. 실험 결과

저자들은 사용자 연구 ($N=23$) 와 확장성 시뮬레이션 두 가지 실험을 수행했습니다.

4.1 사용자 연구 (가설 H1)

참가자들은 이원적 쌍으로 로봇과 상호작용하며 ARIS 시스템과 LLM 만 사용하는 베이스라인(SWM, ReID, 물리적 구현이 부재) 을 비교했습니다.

• **지표:**知각된 지능, 생동감, 인간화, 호감도 (Godspeed Questionnaire).
• 결과: ARIS 는 모든 지표에서 베이스라인을 유의미하게 상회했습니다:
  • 인간화: $d = 1.05$(대형 효과, $p < 0.001$).
  • 지능: $d = 0.74$(중형 효과, $p = 0.0018$).
  • 생동감: $d = 0.70$(중형 효과, $p = 0.003$).
  • 호감도: $d = 0.46$(소형 - 중형 효과, $p = 0.0398$).
• SWM 성능: 12 명 중 7 명의 "두 번째로 상호작용한" 참가자가 ARIS 에 의해 성공적으로 인식되었으며, 9 명은 로봇이 "내 파트너에 대해 알고 있었다"고 보고했습니다. 이는 베이스라인에서 관찰된 인식률보다 훨씬 높았습니다.

4.2 RAG 대 비 RAG 확장성 (가설 H2)

저자들은 메시지 기록을 최대 14,000 개까지 복제하여 밀집된 대화를 시뮬레이션했습니다.

• 지연 시간: 비 RAG 파이프라인은 추론 시간이 선형에서 초선형으로 증가하여 14,000 개 메시지 시 10,000 ms를 초과했습니다. 반면 RAG 파이프라인은 기록 크기와 관계없이 4,000 ms 미만의 유한한 지연 시간을 유지했습니다.
• 출력 품질: RAG 와 비 RAG 출력 간의 코사인 유사도는 **83.54%**로, 선택적 검색이 전체 기록 접근과 비교할 때 응답 관련성을 유지함을 시사합니다.

5. 중요성 및 주장

이 논문은 ARIS 가 구체적 추론과 구조화된 기억을 통합하여 로봇의 사회적 상호작용을 발전시키는 가치를 보여준다고 주장합니다. 사회적 추론, 멀티모달 지각, 컨텍스트 검색을 통합함으로써 이 시스템은 표준 LLM 만 사용하는 베이스라인 대비 사용자 참여도와 지각된 지능에서 측정 가능한 개선을 달성합니다.

저자들은 그들의 접근 방식이 비용 효율적임을 강조하며, 맥락상 필요할 때만 비주얼 언어 모델을 호출하고 토큰 소비를 줄이기 위해 RAG 검색을 제한한다고 설명합니다. 그들은 ARIS 를 실제 환경에서 "강렬한 대화적 깊이"와 지속적이고 사회적 인식을 갖춘 참여를 가능하게 하는 로봇을 향한 한 걸음으로 위치시킵니다.

인정된 한계:

• 개별 구성 요소의 기여도를 분리하기 위한 공식적인 절단 연구 (ablation study) 가 평가에 포함되지 않았습니다.
• 확장성 테스트는 유기적인 장기 대화 대신 인위적으로 복제된 메시지를 사용했으며, 이는 의미적 드리프트를 완전히 포착하지 못할 수 있습니다.
• 표본 크기 ($N=23$) 는 작으며, 시스템은 단일 로봇 플랫폼 (Pepper) 에서만 테스트되었습니다.

구현은 출판 시 오픈 소스로 공개될 예정입니다.