Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability

당신이 거대하고 끊임없이 변하는 미로를 풀고 있다고 상상해 보세요. 하지만 당신은 지금 서 있는 아주 작은 방 하나만을 볼 수 있습니다. 전체 지도는 볼 수 없으며, 지금까지 거쳐온 모든 회전을 다 기억할 수도 없습니다. 왜냐하면 당신의 뇌에는 한 번에 담을 수 있는 정보의 양에 한계가 있기 때문입니다. 이것이 바로 인공지능 세계에서 '부분 관측 가능(partially observable)'한 환경이 직면한 과제입니다. 이 미로를 헤쳐 나가기 위해, AI 에이전트는 무엇을 기억하고, 무엇을 버리며, 필요한 순간에 어떻게 적절한 정보를 찾아낼지를 결정하는 방법이 필요합니다. 너무 많이 기억하면 과부하가 걸리고, 너무 많이 잊어버리면 길을 잃게 됩니다. 과학자들의 큰 고민은 이것입니다. 어떻게 하면 아무도 이해할 수 없는 '블랙박스'가 되지 않으면서도, 스스로 자신의 기억을 관리할 수 있을 만큼 똑똑한 AI를 구축할 것인가?

여기서 논문 "Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability"가 등장합니다. 연구자들인 김태운, 빈센트 프랑수아-라베, 마이클 코체즈는 매우 체계적인 사서이면서 동시에 매우 직관적인 예감을 가진 시스템처럼 행동하는 하이브리드 시스템을 만들어 이 문제를 해결했습니다. 그들은 단순히 추측만 하는 것이 아니라, 구조화된 '지식 그래프'(거대한 연결망 형태의 사실 집합)를 사용하여 기억을 저장하는 AI를 구축했습니다. 하지만 여기서 반전은, AI가 무작위로 행동을 결정하게 두는 대신, 그들에게 '메타 정책(meta-policy)'을 가르쳤다는 점입니다. 이는 AI에게 "가장 최근의 것을 기억하라", "가장 자주 사용한 것을 기억하라", 또는 "가장 오래된 것을 잊으라"와 같이 검증된 전략들의 메뉴를 제공하고, AI가 매 순간 어떤 전략을 선택할지 학습하게 하는 것과 같습니다. 그 결과, 이 시스템은 적응력이 뛰어나면서도(무엇이 효과적인지 학습함), 투명합니다(AI가 어떤 규칙을 왜 선택했는지 정확히 볼 수 있음).

문제점: 기억력이 나쁜 AI

당신이 숨겨진 열쇠를 찾아 문을 열어야 하는 비디오 게임을 하고 있다고 상상해 보세요. 게임 세계는 매우 넓지만, 당신은 현재 있는 방만을 볼 수 있습니다. 방을 돌아다니며 당신은 단서들을 수집합니다: "열쇠는 주방에 있었다"라거나 "문은 북쪽에 있다"와 같은 것들 말이죠. 하지만 당신의 배낭(기 기억)에는 512개의 아이템만 담을 수 있습니다. 만약 513번째 아이템을 줍는다면, 다른 무언가를 버려야 합니다.

만약 잘못된 것을 버린다면, 당신은 열쇠가 어디 있는지 잊어버려 게임에서 실패할 수도 있습니다. 반대로 모든 것을 다 가지고 있으려 한다면, 배낭이 너무 무거워져서 움직일 수 없게 됩니다. 과거에 과학자들은 이 문제를 해결하기 위해 크게 두 가지 방법을 시도했습니다. 한 가지는 엄격하게 미리 작성된 규칙(예: "항상 가장 오래된 아이템을 버려라")을 사용하는 것이었습니다. 이는 신뢰할 수 있지만 경직되어 있어서, 게임이 바뀌면 적응하지 못합니다. 다른 한 가지는 '블랙박스' 신경망을 사용하는 것으로, AI가 스스로 모든 것을 기억하도록 학습하는 방식입니다. 이는 유연하지만, 마치 마술과 같습니다. 답은 맞지만, AI가 왜 특정 사실을 남기고 다른 사실을 버리기로 결정했는지 그 과정을 전혀 알 수 없습니다. 만약 실수를 한다면 이를 신뢰하거나 수정하기가 매우 어렵습니다.

해결책: 메뉴를 가진 똑똑한 사서

저자들은 "뉴로-심볼릭 메타 정책(neuro-symbolic meta-policy)"이라는 새로운 접근 방식을 소개했습니다. 이 내용을 쉬운 이야기로 풀어보겠습니다.

당신의 AI 에이전트가 끊임없이 재배치되는 도서관의 사서라고 상상해 보세요. 이 도서관이 바로 '시계열 지식 그래프(Temporal Knowledge Graph)'입니다. 도서관의 모든 책(사실)에는 추가된 시점, 마지막으로 읽힌 시점, 그리고 얼마나 많이 대출되었는지를 나타내는 세 가지 정보가 라벨로 붙어 있습니다. 이것이 바로 '심볼릭(symbolic)'한 부분입니다. 즉, 사실들이 명확하고, 라벨이 붙어 있으며, 조직되어 있다는 뜻입니다.

이제 사서는 매 초마다 무엇을 할지 결정해야 합니다. 단순히 추측하는 대신, 사서는 세 가지 유형의 결정을 내릴 수 있는 메뉴를 가지고 있습니다:

1. 질의응답(Question Answering): "빨간 열쇠는 어디에 있는가?" 사서는 열쇠에 관한 가장 최근의 기록을 찾을지, 가장 최근에 사용된 기록을 찾을지, 아니면 가장 빈번하게 사용된 기록을 찾을지 선택할 수 있습니다.
2. 탐색(Exploration): "다음에는 어디로 가야 하는가?" 사서는 가장 새로운 지도를 바탕으로 탐색할지, 가장 많이 방문한 지도를 바탕으로 할지, 아니면 가장 많이 사용된 지도를 바탕으로 할지 선택할 수 있습니다.
3. 망각(Forgetting): "선반이 가득 찼다! 무엇을 버릴까?" 사서는 가장 오래된 아이템을 버릴지, 최근에 사용되지 않은 아이템을 버릴지, 아니면 가장 적게 사용된 아이템을 버릴지 선택할 수 있습니다.

시스템의 '뉴로(neuro)' 부분은 사서의 뇌입니다. 이 뇌는 현재 상황(당신이 있는 방, 당신이 던지는 질문)을 살펴보고, 특수한 형태의 신경망(그래프 신경망, GNN)을 사용하여 메뉴의 각 옵션에 점수를 매깁니다. 그리고 시행착오를 통해 어떤 메뉴 항목을 골라야 최고의 점수를 얻을 수 있는지 학습합니다.

실험: RoomKG 게임

이를 테스트하기 위해 연구진은 "RoomKG"라는 벤치마크를 사용했습니다. 이는 침대, 램프, 사람 등의 물건들로 채워진 49개의 방이 있는 그리드 세상입니다. AI는 기억 용량인 512개 아이템 제한을 유지하면서, 이 세상을 항해하고, "램프는 어디에 있는가?"와 같은 질문에 답하며 이동해야 합니다.

연구진은 이 새로운 "똑똑한 사서"를 다음 두 종류의 플레이어와 비교 테스트했습니다:

• 규칙 준수자(The Rule-Follower): 고정된 규칙(예: "항상 가장 오래된 아이템을 버려라")만을 사용하는 AI입니다.
• 블랙박스(The Black Box): 명확한 규칙 없이 처음부터 모든 것을 스스로 학습하려고 하는 AI입니다.

결과: 적응력과 명확성의 만남

결과는 매우 명확했습니다. "블랙박스" AI는 현저히 고전하며 다른 모델들보다 훨씬 낮은 점수를 기록했습니다. 복잡한 행동 공간(245가지의 방과 방향의 조합)을 제한된 기억력을 가지고 한꺼번에 학습하는 것은 너무 어려운 일이었던 것으로 보입니다.

"규칙 준수자"는 선방했는데, 이는 기본적인 메모리 시스템의 구조가 탄탄하다는 것을 증명했습니다. 그러나 "똑똑한 사서"(뉴로-심볼릭 메타 정책)가 가장 우수한 성적을 거두었습니다. 특히, '한정자 인식(qualifier-aware)' 인코더(StarE-GNN)를 사용한 버전이 가장 높은 점수를 달성했습니다.

이것이 특별한 이유는 AI가 단순히 운이 좋아서 점수를 높인 것이 아니기 때문입니다. 시스템이 '뉴로-심볼릭'이기 때문에 우리는 사서의 사고 과정을 실제로 관찰할 수 있습니다. 연구진은 게임 초기에 AI가 (여전히 관련성이 높을 가능성이 큰) '가장 최근에 사용된' 사실들을 선호했다는 것을 발견했습니다. 하지만 게임이 진행되고 세상이 변함에 따라, AI는 '가장 새로운' 사실들을 보는 것으로 전략을 전환하는 법을 배웠습니다. AI는 상황에 따라 전략을 동적으로 변경했는데, 이는 경직된 규칙 준수자들이 할 수 없는 일이었습니다.

이것이 중요한 이유

이 논문의 가장 흥lı로운 점은 단순히 AI가 더 높은 점수를 받았다는 것이 아닙니다. 그것은 AI가 완전히 투명한 상태를 유지하면서 그 성과를 냈다는 점입니다. 많은 AI 시스템에서 "왜 그 사실을 잊었나요?"라고 물으면, 대답은 보통 "수학적 계산 결과가 그래서 그렇습니다"가 될 것입니다. 하지만 이 시스템에서의 대답은 "그 사실이 거의 필요하지 않다고 판단했기 때문에 '가장 적게 사용된' 규칙을 선택했습니다"가 됩니다.

저자들은 이 접근 방식이 최적의 접점을 제공한다고 제안합니다. 즉, 학습하는 AI의 적응력과 규칙 기반 시스템의 명확성을 결 함께한 것입니다. 그들은 AI에게 매번 새로운 도구를 발명하도록 하는 대신, 이미 알고 있는 전략이라는 도구 상자에서 올바른 '도구'를 선택하도록 가르침으로써, 이해 능력을 잃지 않고도 더 나은 성능을 얻을 수 있음을 보여주었습니다.

비록 이것이 512개의 메모리 제한이 있는 특정 게임 환경에서 테스트되었지만, 이 "메타 정책" 접근 방식은 AI가 오랜 시간에 걸쳐 방대한 정보를 관리해야 하는 다른 상황에도 적용될 수 있다는 것이 핵심입니다. 이는 성능을 위해 이해력을 희생할 필요가 없음을 입증합니다. 당신은 똑똑하면서도 설명 가능한 AI를 가질 수 있습니다.