HearthNet: Edge Multi-Agent Orchestration for Smart Homes

이 논문은 자연어 기반의 스마트 홈 제어를 위해 가정 내 엣지 디바이스에 영구적이고 역할이 특화된 LLM 에이전트들을 배치하여 MQTT 와 공유 상태를 통해 장치들을 조율하고, 계획, 검증, 실행 단계를 명확히 분리함으로써 기존 시스템의 취약점을 해결하는 'HearthNet'이라는 엣지 멀티 에이전트 오케스트레이션 시스템을 제안합니다.

핵심

🏠 HearthNet: 스마트 홈을 위한 '지능형 집사' 팀

이 논문은 **"스마트 홈을 어떻게 하면 더 똑똑하고 안전하게 만들 수 있을까?"**라는 질문에 대한 답을 제시합니다.

기존의 스마트 홈은 "만약 A 가 되면 B 를 해라"라는 단순한 규칙에 의존하거나, 클라우드에 의존하는 경우가 많았습니다. 하지만 기기가 고장 나거나, 명령이 충돌하거나, 네트워크가 끊기면 시스템이 멈추거나 엉뚱한 일을 하기도 했습니다.

저자들은 이를 해결하기 위해 **HearthNet(하스넷)**이라는 시스템을 만들었습니다. 이를 이해하기 쉽게 **'집안일을 돕는 전문 집사 팀'**에 비유해 설명해 드리겠습니다.

---

🏡 HearthNet 이란 무엇인가요?

HearthNet 은 우리 집에 설치된 작은 컴퓨터 (에지 장치) 들 위에서 작동하는 LLM(대형 언어 모델) 기반의 다중 에이전트 시스템입니다.

기존의 AI 비서 (예: 시리, 빅스비) 가 한 번의 대화만 기억하고 금방 잊어버린다면, HearthNet 은 **집 전체를 24 시간 감시하며 기억하는 '전문가 팀'**입니다.

👥 팀 구성원 (역할 분담)

이 시스템은 한 명의 거대한 AI 가 모든 것을 하는 것이 아니라, 각자 전문 분야가 있는 4 명의 집사로 나뉘어 협력합니다.

1. 루퍼트 (Root Agent, 팀장):

   • 역할: 전체를 지휘하는 팀장입니다.
   • 비유: "오늘 일하러 집에 왔어"라고 주인이 말하면, 루퍼트는 이를 분석해 "조명은 밝게, TV 는 끄고, 음악은 조용히"라는 구체적인 지시를 각 팀원에게 내립니다.
   • 특징: 모든 기기를 직접 조절하지는 않지만, 누가 무엇을 할지 허가 (Lease) 를 내리는 권한을 가진 유일한 사람입니다.

2. 지브스 (Manager Agent, 조명/가전 담당):

   • 역할: 집 안의 전등, 에어컨, 스피커 등을 관리합니다.
   • 비유: "지브스, 조명 좀 밝게 해줘"라는 팀장의 지시를 받으면, 실제 전구와 연결된 스위치를 조작합니다.

3. 다시 (Manager Agent, 모바일/스마트폰 담당):

   • 역할: 스마트폰 앱이나 외부 API 가 없는 기기를 다룹니다.
   • 비유: "다시, TV 앱 켜서 끄고 와"라고 하면, 실제 스마트폰을 터치해서 작업을 수행합니다. 스마트폰에 있는 카메라나 센서 같은 정보는 지브스가 알 수 없기 때문에, 다시가 따로 존재해야 합니다.

4. 듀이 (Librarian Agent, 기록관/감시자):

   • 역할: 팀의 모든 대화와 행동을 **Git(버전 관리 시스템)**이라는 디지털 일지에 기록합니다.
   • 비유: 팀원들이 무엇을 했는지, 누가 무엇을 승인했는지 모든 것을 투명하게 기록하는 비서입니다. 하지만 직접 전구를 켜거나 끄지는 않습니다. 오직 기록과 증거만 남깁니다.

---

🛡️ HearthNet 의 핵심 기술 (3 가지 비유)

이 시스템이 기존 방식보다 뛰어난 이유는 안전장치 때문입니다.

1. 📜 "최신 버전 확인" (Git 기반 상태 관리)

• 문제: 옛날 방식은 "내가 방금 말한 대로 해"라고 하면, 그 순간의 기억만 믿고 행동합니다. 하지만 다른 사람이 그 사이에 조명을 껐다면?
• 해결: HearthNet 은 모든 명령을 내리기 전에 **듀이의 일지 (Git)**를 확인합니다. "지금 조명이 켜져 있는가?"를 실시간으로 확인한 뒤, 그 정보를 바탕으로 명령을 내립니다.
• 비유: 요리사가 "소금 좀 넣어"라고 하기 전에, 냄비에 소금이 이미 들어갔는지 확인하는 것과 같습니다.

2. 🔑 "일시적인 허가증" (Actuation Leases)

• 문제: 해커가 나쁜 명령을 내리거나, 기기가 고장 난 상태에서 잘못된 명령이 전달되면 위험합니다.
• 해결: 팀장 (루퍼트) 은 명령을 내릴 때 **짧은 유효기간이 있는 허가증 (Lease)**을 발급합니다. 이 허가증에는 "누가, 무엇을, 언제까지, 어떤 조건으로" 할 수 있는지가 적혀 있습니다.
• 비유: 호텔 직원이 "방을 청소해"라고 할 때, 해당 직원의 신분증과 청소 시간만 적힌 티켓을 줍니다. 티켓이 없거나 시간이 지났으면, 청소부 (기기) 는 문을 열지 않습니다.

3. 🕵️ "충돌 해결과 감사" (Timeline Tracing)

• 문제: "조명을 밝게 해"라고 명령했는데, 동시에 "밤이니까 불을 끄라"는 예약이 들어오면 어떻게 할까요?
• 해결: 시스템은 **시간순 기록 (타임라인)**을 통해 누가 먼저, 왜 그렇게 했는지 확인합니다. 주인이 직접 "밝게 해"라고 한 명령은 예약된 "끄기" 명령보다 우선합니다.
• 비유: 두 사람이 동시에 문을 열려고 하면, **누가 먼저 도착했는지 (기록)**를 확인하고, 주인이 직접 요청한 사람이 우선권을 가집니다.

---

🎬 실제 시연 장면 (데모)

논문에서는 이 시스템을 실제로 작동하며 세 가지 상황을 보여줍니다.

1. 상황 1: "오늘 집에서 일할 거야"
   • 주인이 이 말을 하면, 팀장 (루퍼트) 이 "집에서 일하는 분위기"를 분석해 조명, TV, 음악을 자동으로 설정합니다. 각 팀원이 자신의 전문 분야에 맞춰 작업을 수행합니다.
2. 상황 2: "충돌 해결"
   • 이미 "일하는 모드"가 켜져 있는데, 예약된 "저녁 휴식 모드"가 켜지려 합니다. 시스템은 기록을 확인하고 **"주인이 직접 요청한 명령이 우선"**이라고 판단해, 휴식 모드의 조명을 끄는 명령을 막습니다.
3. 상황 3: "고장 나고 복구"
   • 팀원 중 하나가 갑자기 꺼졌다 켜집니다 (재부팅). 이때, 고장 나기 전의 오래된 명령을 다시 보내려 하면, 시스템이 "이 명령은 더 이상 유효하지 않아 (기존 허가증 만료)"라고 거부합니다. 안전한 상태가 될 때까지 기다렸다가 새로운 허가를 받아야만 작동합니다.

---

💡 결론: 왜 이것이 중요한가요?

HearthNet 은 클라우드에 의존하지 않고, 우리 집 안 (에지) 에서 모든 것을 처리하면서도, 안전하고 투명하게 작동합니다.

• 기존 방식: "기억이 짧고, 충돌 시 엉망이 됨."
• HearthNet: "기록이 명확하고, 충돌을 해결하며, 고장 나도 안전하게 복구됨."

이 기술은 앞으로 우리 집이 단순한 기기의 모음이 아니라, 서로 협력하고 사고할 수 있는 하나의 지능적인 생명체처럼 만들어 줄 것입니다. 마치 신뢰할 수 있는 전문 집사 팀이 24 시간 우리 집을 지키는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

스마트 홈 사용자는 수동으로 규칙, 대시보드, API 통합을 구성하는 대신 자연어로 집을 제어하기를 원합니다. 그러나 기존 솔루션은 다음과 같은 한계를 가집니다:

• 취약성 (Brittleness): 실제 배포 환경에서 기기 고장, 네트워크 단절, 배터리 방전 등이 빈번히 발생하며, 복구 시 수동 개입이 필요합니다.
• 세션 기반의 한계: 기존 멀티 에이전트 툴킷 (AutoGen, LangGraph 등) 은 단일 세션 내의 일시적 위임에 최적화되어 있습니다. 스마트 홈 제어는 지속적 (persistent), 이벤트 기반, 실패에 취약하며 물리적 기기와 연결된 환경이므로, 세션 로컬 메모리만으로는 충분하지 않습니다.
• 공유 상태 부재: 물리적 기기를 제어하는 에이전트 간에 공유되는 컨텍스트 창 (shared context window) 이 없어, 충돌 해결, 상태 추적, 복구 메커니즘이 어렵습니다.

2. 방법론 (Methodology)

저자들은 HearthNet을 제안했습니다. 이는 상용 엣지 하드웨어에 배포되는 지속적이고 역할 특화 (role-specialized) 된 LLM 에이전트를 기반으로 한 엣지 멀티 에이전트 오케스트레이션 시스템입니다.

핵심 아키텍처 (4 계층 구조)

1. 루트 에이전트 (Root Agent, "Rupert"):
   • 시스템의 최상위 오케스트레이터로, 사용자 명령을 수신하여 도메인별 작업으로 분해합니다.
   • 충돌을 조정하고, **액추에이션 임대 (actuation lease)**를 발행하는 유일한 권한을 가집니다.
2. 매니저 에이전트 (Manager Agents, "Jeeves", "Darcy"):
   • 특정 기기 도메인 (예: Home Assistant 기기, 모바일 앱 제어) 을 담당합니다.
   • 자체 도메인 지식을 바탕으로 구체적인 기기 동작을 제안하지만, 실제 기기 제어 권한은 루트 에이전트로부터 받은 임대 (lease) 가 있을 때만 행사합니다.
   • Darcy는 모바일 기기 (Pixel 4) 에서 실행되어 UI 자동화 및 센서 데이터 접근이 가능한 등 분산 아키텍처의 필요성을 보여줍니다.
3. 라이브러리 에이전트 (Librarian Agent, "Dewey"):
   • 비참여 관찰자 (non-participant) 로서 MQTT 트래픽을 미러링하여 Git 저장소에 구조화된 메타데이터와 이벤트를 기록합니다.
   • 충돌 해결, 감사 (audit), 복구 시 단일 진실 공급원 (Single Source of Truth) 역할을 합니다.
4. 기기 어댑터 (Device Adapters):
   • 기기 자체는 에이전트가 아니며, 매니저 에이전트가 프로토콜별 어댑터를 통해 제어합니다.

동작 프로토콜 및 메커니즘

• MQTT 기반 통신: 모든 에이전트 간 조정은 중앙 Mosquitto 브로커를 통해 이루어집니다.
• Git 기반 공유 상태: 모든 상태 변경은 Git 저장소에 기록되며, 에이전트는 재시작 시 메모리 히스토리 대신 Git HEAD 를 기준으로 컨텍스트를 복원합니다.
• 액추에이션 임대 (Actuation Leases): 루트 에이전트가 발행하는 단기 인증서로, 명령의 유효성 (기기 범위, 파라미터, 승인된 상태 버전) 을 기계적으로 검증합니다.
• 기반 커밋 검증 (Base Commit Verification): 명령 실행 전, 현재 Git 상태 (HEAD) 와 명령이 참조하는 상태 버전이 일치하는지 확인하여 구식 (stale) 명령을 차단합니다.

3. 주요 기여 (Key Contributions)

1. Git 기반 신선도 메커니즘: 에이전트가 기기 작동 전에 구식이거나 충돌하는 명령을 탐지하고 거부할 수 있도록 하는 기반 커밋 (base commit) 검증 방식.
2. 정책 바인딩 액추에이션 임대: 루트 에이전트가 발행하는 단기 인증서로, 각 상태 변경 명령을 신원, 기기 범위, 파라미터, 승인된 상태 버전과 강하게 결합하여 권한을 분리합니다.
3. 라이브러리 - 관찰자 패턴: 제어 경로에 참여하지 않는 전용 에이전트가 조정 트래픽을 버전 관리된 저장소에 미러링하여 충돌 복구, 책임 소재 추적 (attribution), 완전한 감사 가능성을 제공합니다.
4. 배포된 엣지 프로토타입: ARM64 Mac mini, x64 NUC, Android 스마트폰 등 3 가지 상용 하드웨어에서 실행되며, 실제 기기 (조명, 스피커, TV 등) 를 통한 3 가지 시나리오를 시연했습니다.

4. 결과 및 성능 (Results)

실제 배포된 프로토타입을 통한 3 가지 시나리오 시연 결과:

• 시나리오 1 (의도 기반 조정): "재택근무 중"이라는 모호한 명령을 받아 조명, 스피커, TV 를 상황에 맞게 조정. (작업 완료율 4/5, 중간 지연 시간 8 초).
• 시나리오 2 (충돌 해결): 기존 재택근무 설정과 자동화된 '저녁 정리' 루틴 간 충돌 발생 시, Git 타임라인을 기반으로 사용자의 명시적 의도를 우선시하여 충돌 해결. (5/5 정확도).
• 시나리오 3 (신선도 및 권한 검증): 에이전트 재시작 후 구식 커밋과 만료된 임대를 사용하여 명령을 재시도하려 할 때, 루트 에이전트가 이를 거부하고 안전 장치가 작동함을 확인. (구식 명령 5/5 거부, 잘못된 임대 5/5 거부).

성능 지표:

• 오케스트레이션 오버헤드는 미미함 (Lease 검증 오버헤드 p95 < 0.01ms).
• 전체 지연 시간의 대부분은 LLM 추론 (1~5 초/홉) 에 의해 결정됨.
• Git 에 모든 이벤트가 영구적으로 기록되어 감사 및 재현이 가능함.

5. 의의 및 결론 (Significance)

• 지속적 멀티 에이전트 조정의 실현: 클라우드 샌드박스를 넘어 물리적 환경 (엣지) 에서 지속적이고 안전한 멀티 에이전트 조정이 가능함을 입증했습니다.
• 안전성과 감사 가능성: 세션 로컬 메모리에 의존하지 않고 Git 기반의 공유 상태와 정책 바인딩 임대를 통해, 기기 제어의 안전성 (안전 장치), 충돌 해결, 그리고 완전한 감사 추적을 보장합니다.
• 실용성: 상용 엣지 하드웨어와 오픈 소스 도구 (OpenClaw, MQTT, Git) 만으로 구축 가능하여, 실제 스마트 홈 환경에 적용 가능한 현실적인 솔루션을 제시합니다.

이 연구는 AI 에이전트가 단순한 대화 도구를 넘어, 물리적 세계의 복잡성과 안전 요구사항을 충족하는 신뢰할 수 있는 오케스트레이션 시스템으로 진화할 수 있는 새로운 패러다임을 제시합니다.