A Hierarchical Error-Corrective Graph Framework for Autonomous Agents with LLM-Based Action Generation

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"로봇이 집안일을 할 때 실수를 어떻게 똑똑하게 고쳐나갈까?"**에 대한 해답을 제시합니다.

기존의 로봇이나 AI 는 "일단 계획대로만 움직여라"라고 명령을 받으면, 중간에 실수가 나면 당황해서 아예 처음부터 다시 시작하거나 멈춰버리는 경우가 많았습니다. 이 논문은 그런 로봇에게 **"실수한 원인을 분석하고, 상황에 맞춰 단계별로 고쳐주는 지도 (그래프)"**를 만들어주자는 아이디어를 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🏠 비유: 로봇은 '초보 운전사', 이 프레임워크는 '현명한 조수석'

想像해 보세요. 로봇이 주방에서 요리하라고 명령을 받았습니다. 하지만 로봇은 초보 운전사처럼, 갑자기 튀어나온 장애물을 피하거나 컵을 잡으려다 떨어뜨리는 실수를 자주 합니다.

기존 방식은 "실수했네? 아예 다시 출발하자!"라고 해서 비효율적이었습니다. 하지만 이 논문이 제안하는 **HECG(계층적 오류 수정 그래프)**는 로봇 옆에 앉은 현명한 조수석 같은 역할을 합니다.

1. 세 단계의 '고침' 전략 (Hierarchical Error Correction)

이 조수석은 실수의 크기에 따라 3 단계로 대응합니다.

1 단계: 미세 조정 (Local Correction)
- 상황: 로봇이 컵을 잡으려는데 손이 1cm 정도 빗나갔을 때.
- 대응: "아, 손이 살짝 미끄러졌네? 그냥 손가락을 1cm 더 당기면 돼."
- 비유: 운전하다가 차선이 살짝 어긋났을 때 핸들을 살짝 꺾는 것과 같습니다. 전체 경로를 다시 짜지 않아도 되죠.
2 단계: 방법 바꾸기 (Optional Action Switching)
- 상황: 컵이 너무 미끄러워서 잡히지 않거나, 컵이 다른 물체에 가려져 있을 때.
- 대응: "잡는 게 안 되네? 그럼 컵을 밀어서 다른 곳으로 옮기거나, 로봇의 위치를 다시 잡자."
- 비유: 길이 막혔을 때, "다시 출발"이 아니라 "우회전해서 다른 길로 가자"라고 방향을 바꾸는 것입니다.
3 단계: 전체 계획 다시 짜기 (Task Re-Planning)
- 상황: 컵이 깨졌거나, 냉장고 문이 고장 났거나, 아예 처음부터 계획이 틀린 경우.
- 대응: "이건 안 되네. 아예 '냉장고 문 고치기'부터 다시 계획을 짜자."
- 비유: 목적지 자체가 바뀌거나 차가 고장 났을 때, 내비게이션을 끄고 새로운 목적지를 입력하는 것입니다.

2. '실수 분류표' (Error Matrix Classification)

이 조수석은 실수를 무작정 '실패'라고만 보지 않습니다. 10 가지 종류의 실수를 구분합니다.

비유: 병원에서 환자가 아프다고 할 때, "아프다"라고만 말하지 않고 "감기인가? 위장병인가? 다친 것인가?"를 구분하는 것과 같습니다.
예시:
- "물체를 못 봤다" (센서 오류) → 센서를 다시 켜자.
- "물체가 너무 높았다" (접근 불가) → 의자를 가져와서 올라가자.
- "명령을 잘못 해석했다" (문법 오류) → 로봇에게 다시 설명해 주자.
- 이렇게 실수의 원인을 정확히 파악해야만, 같은 실수를 반복하지 않고 똑똑하게 고칠 수 있습니다.

3. '과거 경험의 지도' (Causal-Context Graph Retrieval)

기존 AI 는 과거의 경험을 검색할 때 "단어가 비슷한 것"만 찾았습니다. 하지만 이 프레임워크는 인과관계가 있는 지도를 사용합니다.

비유:
- 기존 방식: "커피를 마셨다"라는 글을 검색하면, "차도 마셨다"라는 글도 같이 가져옵니다. (단어만 비슷함)
- 이 방식: "커피를 마셨는데 컵이 깨졌다"는 경험을 검색하면, "다음엔 컵을 조심스럽게 잡아야 한다"는 원인과 결과의 연결고리까지 찾아옵니다.
- 로봇이 과거에 "냉장고 문을 너무 세게 열었다가 고장 났던 경험"을 기억하고 있다면, 이번에도 문을 열 때 "조심스럽게"라는 단계를 자동으로 추가하는 식입니다.

4. 'LLM(거대 언어 모델) 의 상식' 활용

이 시스템은 로봇에게 인간의 상식을 심어줍니다.

상황: 로봇이 "냉장고 문을 열자"고 계획했는데, 냉장고가 이미 열려 있다면?
대응: 로봇은 "이미 열려 있으니 다시 열지 말고 안을 확인하자"라고 판단합니다.
비유: 운전사가 "빨간불인데 멈추자"라고 생각할 때, 단순히 신호등만 보는 게 아니라 "차량이 멈추지 않으면 사고가 난다"는 상식을 적용하는 것과 같습니다.

💡 결론: 왜 이 기술이 중요한가요?

이 논문은 로봇이 완벽한 환경이 아니라, 예상치 못한 실수가 일어나는 현실 세계에서도 잘 작동하게 만듭니다.

기존: 실수하면 "다시 시작" (시간 낭비, 비효율)
이 논문: 실수하면 "원인 분석 → 단계별 고침 → 상식 적용" (빠른 복구, 지능적 대응)

마치 초보 운전사가 경험 많은 조수석의 도움을 받아, 차가 고장 나거나 길이 막혀도 당황하지 않고 목적지에 안전하게 도착하는 것과 같습니다. 이 기술이 발전하면 우리 집의 로봇이 더 똑똑하고 안전하게 집안일을 도와줄 수 있을 것입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 정의 (Problem)

최근 강화학습 (RL) 과 대규모 언어 모델 (LLM) 의 발전으로 에이전트가 복잡한 물리적 작업 (Embodied Tasks) 을 위한 고수준 행동 계획을 생성할 수 있게 되었습니다. 그러나 기존 접근 방식은 다음과 같은 치명적인 한계를 겪고 있습니다.

전략 전이성 (Transferability) 의 부재: 기존 방법들은 단일 차원의 지표 (누적 보상, 성공률 등) 나 단순 가중치 점수에 의존하여, 서로 다른 작업 간의 전략 전이성을 포괄적으로 평가하기 어렵습니다. 특히 동적이거나 부분적으로 관측 가능한 환경에서 전략 선택의 정확도가 떨어집니다.
비구조화된 오류 피드백: 현재 에이전트의 피드백 메커니즘은 전체 작업의 성공/실패 여부에만 초점을 맞추고 있어, 실패의 원인을 구조적으로 귀속 (Attribution) 하거나 세부적인 오류 유형을 분석하지 못합니다.
제한된 RAG(검색 증강 생성) 의 성능: 기존 RAG 방법은 벡터 유사도나 토큰 기반 매칭에 의존하여, 역사적 경험, 행동, 사건 간의 구조적 관계와 인과적 의존성을 충분히 활용하지 못합니다. 이는 검색 품질과 문맥 일관성을 저해합니다.
계획과 실행의 불일치: LLM 이 생성한 계획은 실제 환경의 물리 법칙, 센서 노이즈, 불확실성과 괴리가 있어, 단순한 순차 실행이나 사후 재계획 (Re-planning) 만으로는 장기 작업에서 신뢰할 수 있는 실행이 어렵습니다.

2. 제안된 방법론: HECG (Methodology)

저자들은 이러한 문제를 해결하기 위해 계층적 오류 수정 그래프 (Hierarchical Error-Corrective Graph, HECG) 프레임워크를 제안합니다. 이 프레임워크는 LLM 기반 행동 생성을 구조화된 오류 기반 실행과 통합하며, 다음과 같은 세 가지 핵심 혁신을 포함합니다.

2.1. 다차원 전이 가능 전략 (Multi-Dimensional Transferable Strategy, MDTS)

개념: 작업 품질 지표 (Q), 신뢰도/비용 지표 (C), 보상 지표 (R), LLM 기반 의미 추론 점수 (LLM-Score) 를 통합하여 정량적 성능과 의미적 문맥을 다차원적으로 정렬합니다.
기능: 고수준의 후보 전략을 더 정확하게 선택하고, 부정적 전이 (Negative Transfer) 의 위험을 줄입니다.
전이 정책 (Transition Policy): 각 전이 (Edge) 에 대해 확률적 정책을 적용하여 다음 행동을 결정합니다.
$\pi_{ij}^k = \text{Softmax}(\alpha Q - \beta C - \gamma R + \lambda \Phi_{LLM})$
여기서 $Q$ 는 작업 가치, $C$ 는 실행 비용, $R$ 은 위험도, $\Phi_{LLM}$ 은 의미적 실현 가능성 점수입니다.

2.2. 오류 행렬 분류 (Error Matrix Classification, EMC)

구조화된 오류 귀속: 단순한 성공/실패가 아닌, 10 가지 유형 (전략 오류, 스크립트 파싱 오류, 센서 실패, 충돌 감지 등) 으로 오류를 분류하고 심각도, 전형적 행동, 복구 가능성에 따라 분해합니다.
3 단계 계층적 수정 메커니즘:
1. L1 로컬 수정 (Local Correction): 작은 오차 (예: 그리퍼 위치 미세 조정) 에 대해 매개변수 조정이나 재시도를 수행.
2. L2 선택적 행동 전환 (Optional Action Switching): 로컬 수정이 실패할 경우, 동일한 하위 목표를 달성하는 대체 행동 (예: 잡기 대신 밀기) 으로 전환.
3. L3 작업 재계획 (Task Re-Planning): 시스템적 불일치가 지속될 경우, 실패 이력을 반영하여 전체 행동 시퀀스를 재생성.
4. L4 인간 개입: 치명적 오류 발생 시 인간 운영자에게 위임.

2.3. 인과 - 문맥 그래프 검색 (Causal-Context Graph Retrieval, CCGR)

그래프 구조: 과거 상태, 행동, 사건 시퀀스를 그래프 ( $G=(V, E)$ $G = (V, E)$ ) 로 구성합니다.
- 노드 (Node): 실행된 행동, 다음 단계 행동, 실행 상태, 전이 가능 전략 등을 저장.
- 에지 (Edge): 노드 간 전이의 전제 조건, 인과적 의존성, 오류 수정 경로 등을 표현.
검색 메커니즘: 벡터 유사도뿐만 아니라 구조적 관계 (하위 그래프 매칭) 를 기반으로 현재 작업 문맥과 가장 관련 있는 경험 서브그래프를 검색하여 에이전트가 문맥 정보를 활용하고 전략 적응을 가속화하도록 돕습니다.

3. 주요 기여 (Key Contributions)

계층적 오류 수정 프레임워크: LLM 생성 계획을 고정된 시퀀스가 아닌, 실시간 피드백에 따라 적응적으로 분기하는 그래프 탐색 프로세스로 변환하여 실행 견고성을 확보했습니다.
다차원 전이 평가 및 구조화된 오류 분류: 정량적 지표와 LLM 의 의미 추론을 결합한 전략 선택 메커니즘과, 10 가지 유형으로 세분화된 오류 행렬을 통해 실패 원인을 정밀하게 분석하고 수정 전략을 유도합니다.
인과적 그래프 기반 검색: 기존 RAG 의 한계를 극복하고, 역사적 경험의 구조적, 인과적 관계를 그래프로 모델링하여 복잡한 다단계 작업에서의 일반화 능력을 향상시켰습니다.

4. 실험 결과 (Results)

실험은 VirtualHome 시뮬레이션 환경에서 READBOOK, PUTDISHWASHER, PREPAREFOOD, PUTFRIDGE, SETUPTABLE 등의 다양한 가정용 작업을 대상으로 수행되었습니다. GPT-5 Mini, DeepSeek-R1, LLaMA3.3-70B 모델과 비교 분석되었습니다.

성능 향상: HECG 프레임워크를 적용한 모델 (특히 GPT-5 Mini 와 DeepSeek-R1) 은 단순 LLM 플래너 (Flat) 에 비해 **재계획 성공률 (TSR_R)**과 **수정 성공률 (TSR_C)**이 현저히 높았습니다. 복잡한 다단계 작업 (PREPAREFOOD 등) 에서 그 효과가 두드러졌습니다.
모델별 특징:
- GPT-5 Mini: 행동 수준의 정밀도와 오류 복구 능력이 가장 뛰어났으며, 수정 후 성공률이 1.0 에 근접했습니다.
- DeepSeek-R1: 초기 계획 성공률 (Original TSR) 이 높았으나, 효율성 면에서는 다소 부족했습니다.
- LLaMA3.3-70B: 장면 수준의 그라운딩 (Grounding) 은 좋았으나, 재계획 적응력은 상대적으로 낮았습니다.
Ablation Study (성분 제거 실험):
- 위험 추정 (Risk Term) 제거: 실행 실패율이 크게 증가하고 복구 단계가 늘어났습니다.
- LLM 점수 제거: 상식적 일관성이 깨져 비합리적인 전이 (예: 불필요한 재시도) 가 발생했습니다.
- 가치 (Value) 및 비용 (Cost) 제거: 장기 계획 능력과 실행 효율성이 저하되었습니다.
- 결론: 네 가지 구성 요소 (가치, 비용, 위험, LLM 의미) 가 모두 결합되었을 때 가장 높은 작업 성공률과semantic 일관성을 보였습니다.
임계값 민감도 분석: 완전한 정책 (Full Policy) 은 오류 임계값의 변화에 대해 비교적 둔감하여 다양한 환경에서 안정적인 성능을 보였으나, 구성 요소를 제거한 변형 모델들은 임계값 설정에 매우 민감하게 반응했습니다.

5. 의의 및 결론 (Significance)

이 연구는 자율 에이전트가 불확실한 실제 환경에서 LLM 기반 계획을 실행할 때 발생하는 계획 - 실행 불일치 문제를 해결하기 위한 체계적인 프레임워크를 제시했습니다.

견고성과 해석 가능성: 단순한 재시도가 아닌, 오류 유형에 따른 계층적 수정 (로컬 조정 $\rightarrow$ 전략 전환 $\rightarrow$ 재계획) 을 통해 시스템의 견고성을 높이고 의사결정 과정을 해석 가능하게 만들었습니다.
구조적 경험 활용: 벡터 기반 검색을 넘어 그래프 기반 인과 관계 추론을 도입함으로써, 에이전트가 과거의 실패와 성공 경험을 구조적으로 재사용할 수 있게 했습니다.
미래 전망: 이 프레임워크는 복잡한 가정용 로봇 작업뿐만 아니라, 다양한 물리적 에이전트 시스템의 신뢰성 있는 자동화를 위한 기초를 제공하며, 향후 더 큰 규모 환경과 실제 로봇 배포로 확장될 잠재력을 가집니다.

요약하자면, HECG 는 LLM 의 추론 능력과 구조화된 오류 관리 메커니즘, 그래프 기반 경험 검색을 통합하여, 기존 에이전트들이 겪던 취약한 실행 과정을 적응적이고 견고한 프로세스로 전환한 획기적인 접근법입니다.