🤖 AI

Self-Evolving Neuro-Symbolic Skills for Tool-Augmented Spatial Reasoning

이 논문은 도구 상호작용을 재사용 가능하고 스스로 진화하는 기술로 추상화하고, 이를 실행과 궤적 분석의 폐쇄 루프 과정을 통해 적응적으로 구성 및 정교화함으로써 공간 추론을 향상시키는 신경-기호적 프레임워크인 NeSy-Spatial을 소개한다.

원저자: Shi-Yu Tian, Zhuo-Xia Wang, Xuan-Yi Zhu, Zhi Zhou, Xinwei Yang, Kun-Yang Yu, Ming Yang, Yang Chen, Yu-Feng Li

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shi-Yu Tian, Zhuo-Xia Wang, Xuan-Yi Zhu, Zhi Zhou, Xinwei Yang, Kun-Yang Yu, Ming Yang, Yang Chen, Yu-Feng Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 까다로운 퍼즐을 풀려고 노력 중이라고 상상해 보세요. 하지만 단순히 머리만 쓰는 것이 아니라, 마법 같은 도구들이 가득 담긴 도구 상자를 가지고 있습니다. 어떤 도구는 당신이 볼 수 없는 것을 보게 해주고, 어떤 도구는 거리를 즉각적으로 측정하며, 또 어떤 도구는 복잡한 수학 계산을 순식간에 해냅니다. 이것이 바로 **거대 시각-언어 모델(Large Vision-Language Models, LVLMs)**의 세계입니다. 이들은 사진을 보고 텍스트를 읽으며 세상을 이해하려고 노력하는 매우 똑똑한 컴퓨터 프로그램입니다. 이들은 "저것은 고양이다"라거나 "하늘은 파랗다"와 같은 일반적인 것들을 말하는 데는 뛰어나지만, 공간 추론(spatial reasoning)—즉, 어떤 물체가 정확히 얼마나 멀리 있는지, 어느 방향을 향하고 있는지, 또는 3D 공간에서 물체가 어떻게 움직이는지를 파악하는 일에는 종종 비틀거리곤 합니다. 이들은 운 좋게 정답을 맞힐 수는 있지만, 진정으로 신뢰할 수 있는 수준이 되기 위해 필요한 정밀한 수학과 단계별 논리를 수행하는 데는 어려움을 겪습니다.

이를 해결하기 위해 과학자들은 AI 모델에게 계산기나 지도와 같은 "도구"를 사용하는 법을 가르치기 시작했습니다. 하지만 여기에는 함정이 있습니다. 현재 대부분의 방법은 너무 무질서하거나 너무 경직되어 있습니다. 어떤 방식은 AI가 마치 장난감 상자에서 무작위로 장난감을 집어 드는 아이처럼 도구를 즉흥적으로 선택하게 만드는데, 이는 실수(예를 들어, 물체를 찾기도 전에 거리를 측정하려고 시도하는 것!)를 유발하곤 합니다. 또 다른 방식은 로봇이 노래에 상관없이 항상 똑같은 춤 동작을 따라 하는 것처럼 고정된 사전 작성 스크립트를 사용하는데, 이는 간단한 작업에는 시간을 낭비하고 복잡한 작업에는 실패하게 만듭니다. 그렇다면 어떻게 하면 AI가 자신의 실수를 통해 배우고, 스마트한 전략 라이브러리를 구축하며, 인간처럼 그 전략을 새로운 문제에 적응하도록 가르칠 수 있을까요?

이 논문은 NeSy-Spatial이라는 새로운 프레임워크를 소개합니다. 이는 AI 모델을 위한 '스스로 발전하는 견습생' 역할을 하는 영리한 시스템입니다. 이것을 AI가 단순히 답을 암기하는 것이 아니라 '하는 법'을 배우는 "기술 체육관(skill gym)"이라고 생각해보세요. 이 시스템은 두 가지 유형의 "기술"을 기반으로 구축되었습니다: **도구 사용 기술(Tool-Use Skills)**과 **기하학 기술(Geometry Skills)**입니다.

도구 사용 기술은 도구를 사용하는 레시피 북과 같습니다. AI는 다음에 어떤 도구를 고를지 추측하는 대신, 구조화된 워크플로우를 학습합니다: "먼저, 카메라 도구를 사용하여 장면을 본다. 다음으로, 탐지기 도구를 사용하여 빨간 공을 찾는다. 마지막으로, 수학 도구를 사용하여 거리를 측정한다." 이러한 기술은 AI가 단계를 건너뛰거나 도구를 잘못된 순서로 사용하는 것을 방지합니다.
기하학 기술은 특화된 수학 공식과 같습니다. 일단 AI가 데이터(예: 빨간 공의 위치)를 확보하면, 단순히 거리를 짐작하는 것이 아니라, 3D 공간에서 두 점 사이의 거리를 정확하게 계산할 줄 아는 검증된 코드 블록을 꺼내 사용합니다.

NeSy-Spatial의 마법은 그것이 진화한다는 점에 있습니다. 이 시스템은 단순히 정적인 기술 목록을 사용하는 것이 아니라, 배우고 성장합니다. AI가 문제를 해결할 때, 그 여정을 저장합니다. 만약 성공했다면, 어떤 경로가 효과적이었는지 분석하여 그것을 새로운 "기술"로 저장합니다. 만약 실패했다면, 단순히 그 시도를 버리는 것이 아니라 왜 실패했는지를 살펴봅니다. 물체를 먼저 찾는 것을 잊었나요? 아니면 수학이 틀렸나요? 그런 다음 AI는 자신의 라이브러리를 업데이트하여, 나쁘거나 쓸모없는 기술은 쳐내고(pruning), 좋은 기술은 정교하게 다듬습니다. 이는 마치 비디오 게임 캐릭터가 레벨업하는 것과 같습니다. 보스를 물리치거나 함정에 빠졌을 때마다, 새로운 기술을 배우거나 기존 기술을 개선하여 다음 단계에서는 더 나아지는 것과 같습니다.

연구진은 이 시스템을 세 가지 도전적인 공간 추론 벤치마크(MMSI, MindCube, OmniSpatial)로 테스트했습니다. 그 결과, NeSy-Spatial이 다른 방법들을 지속적으로 능가한다는 것을 발견했습니다. 이 시스템은 단순히 정답을 더 자주 맞히는 것에 그치지 않고, 도구를 더 효율적으로 사용하여 불필요한 단계를 피하고 오류를 줄였습니다. 예를 들어, 한 데이터셋에서 이 시스템은 기존의 가장 뛰어난 방법들과 비교했을 때 전반적인 정확도를 크게 향상시켰습니다. 이 시스템은 지식을 재사용 가능하고 자기 교정적인 기술로 조직함으로써, 단순히 추측하거나 경직된 스크립트를 따르는 모델보다 복잡한 공간 퍼즐을 훨씬 더 잘 처리할 수 있음을 보여주었습니다.

요약하자면, NeSy-Spatial은 AI 모델이 무작위로 도구를 집어 드는 혼란스러운 아이가 아니라, 잘 정리되고 끊임없이 개선되는 도구 상자를 가진 숙련된 장인이 되도록 가르칩니다. 이는 AI 에이전트가 자신의 경험으로부터 배울 수 있고, 전략을 정교화하며, 새로운 상황에 적응할 수 있을 때, 물리적 세계를 이해하는 데 훨씬 더 신뢰할 수 있게 된다는 것을 증명합니다.

기술 요약: NeSy-Spatial

문제 정의

대규모 시각-언어 모델(LVLM)은 일반적인 멀티모달 추론에서 강력한 능력을 입증했으나, 미세한 공간 작업(fine-grained spatial tasks)에서는 여전히 신뢰도가 낮습니다. 이러한 작업은 엔드 투 엔드 생성 능력의 한계를 넘어서는 정밀한 시각적 인지와 구조화된 기하학적 계산을 요구합니다. 도구 증강(외부 비전 모델 및 실행기 활용)이 해결책을 제시하지만, 기존 방식은 두 가지 주요 한계점을 가집니다:

동적 계획(Dynamic Planning): 도구 호출을 처음부터 계획하는 방식은 도구 간의 의존성 및 실행 순서에 대한 명시적인 제약이 부족하여, 유효하지 않은 시퀀스(예: 필요한 객체 좌표를 획득하기 전에 파이썬 인터프리터를 호출하는 경우)를 생성할 수 있습니다.
고정된 파이프라인(Fixed Pipelines): 수동으로 설계된 파이프라인에 의존하는 방식은 작업 복잡도와 상관없이 불필요한 도구를 호출하는 등 중복적이며, 다양한 공간 추론 시나리오에 걸쳐 일반화되는 데 실패합니다.

현재의 에이전트들은 재사용 가능한 경험을 축적하고 이를 새로운 문제에 적응적으로 구성하는 능력이 부족하며, 이는 시간이 지남에 따라 공간적 기술을 추상화, 정제 및 진화시킬 수 있는 프레임워크를 필요로 합니다.

방법론: NeSy-Spatial

저자들은 자기 진화형 공간 기술을 위해 설계된 신경-기호(neuro-symbolic) 프레임워크인 NeSy-Spatial을 제안합니다. 이 프레임워크는 도구 상호작용과 기하학적 연산을 타입이 지정된 실행 가능한 원자적 명령(atomic instructions)으로 추상화하고, 이를 두 가지 상호 보완적인 기술 유형인 **도구 사용 기술(Tool-Use Skills)**과 **기하학 기술(Geometry Skills)**로 구성합니다.

1. 신경-기호 기술 정식화

기술 라이브러리($Lib $)는 원자적 명령($ A $)과 고수준 기술($ S $)의 집합으로 구성되며, 여기서$ S = S_{tool} \cup S_{geo}$입니다.

원자적 명령 (Atomic Instructions): 이들은 로컬 검증기를 갖춘 타입 지정 실행 가능 연산입니다. 다음과 같이 나뉩니다:
- 도구 원자 ( $A_{tool}$ ): 시각적 도구와 파이썬 실행기를 위한 래퍼(wrapper)입니다.
- 기하학 원자 ( $A_{geo}$ ): 파이썬 도구 내부에서 실행되는 기하학적 변환, 수치 비교, 관계 검증을 위한 재사용 가능한 코드 블록입니다.
고수준 기술 (High-Level Skills): 노드-에지-컨텍스트 구조( $s = \{V, E, \kappa\}$ $s = {V, E, κ}$ )로 표현됩니다.
- 도구 사용 기술 ( $S_{tool}$ ): 컨트롤러가 볼 수 있는 도구 원자들을 재사용 가능한 워크플로우로 조직하며, 실행 의존성 및 컨텍스트(예: 객체 바인딩, 도구 인자)를 정의합니다.
- 기하학 기술 ( $S_{geo}$ ): 좌표 변환 및 일관성 체크와 같은 연산을 추상화하여, 파이썬 도구 호출을 위한 재사용 가능하고 검증 가능한 구현을 제공합니다.

2. 추론 과정

추론 중에 NeSy-Spatial은 네 단계로 구성된 폐쇄 루프(closed-loop) 프로세스로 작동합니다:

기술 검색 (Skill Retrieval): 에이전트는 현재 질문과 상태를 사용하여 기술 라이브러리를 쿼리하고 관련 기술의 후보 집합을 검색합니다.
액션 선택 (Action Selection): 컨트롤러는 다음 액션을 선택합니다: 답변과 함께 종료하거나, 검색된 도구 사용 기술을 활성화하거나, 특정 도구 원자를 호출합니다. 기하학 기술은 독립적인 컨트롤러 액션이 아니라 파이썬 원자 내에서 인스턴스화됩니다.
도구/코드 실행 (Tool/Code Execution): 선택된 액션은 도구 원자 또는 의존성이 준비된 노드를 실행합니다. 파이썬 원자에 도달하면, 에이전트는 검색된 기하학 기술을 인스턴스화하여 코드 구성을 가이드함으로써 구조화되고 검증 가능한 기하학적 계산을 보장합니다.
상태 업데이트 (State Update): 실행 출력과 검증기 결과는 작업 메모리를 업데이트하며, 최종 답변이 생성될 때까지 다음 검색 라운드를 시작합니다.

3. 자기 진화 메커니즘 (Self-Evolution Mechanism)

프레임워크는 완료된 궤적의 버퍼( $B_t$ )를 기반으로 에피소드 사이에 기술 라이브러리를 진화시킵니다. 진화는 버퍼가 임계값( $N_{buf}$ )에 도달할 때 트리거됩니다.

궤적 분석 (Trajectory Analysis): 시스템은 궤적을 연산, 인자 및 결과로 분해하여 재사용 가능한 구조를 식별합니다. 의존성 패턴을 집계하여 원자적 명령을 업데이트하고, 지원되거나 유효하지 않은 기술 조각을 식별합니다.
기술 융합 (Skill Fusion): 추출된 원자와 조각들은 기존 라이브러리와 융합됩니다. 여기에는 새로운 명령 추가, 검증기를 더 잘 만족하는 경우 기존 구현 교체, 그리고 지원되는 조각을 추가하거나 불필요한 의존성을 제거함으로써 고수준 기술을 편집하는 과정이 포함됩니다.
기술 가지치기 (Skill Pruning): 무제한적인 축적을 방지하기 위해, 시스템은 호출 이력을 바탕으로 항목을 가지치기합니다. 호출 빈도가 특정 기간 동안 낮거나, 오류율 임계값을 초과하거나, 충분한 호출 지원이 없는 경우 기술이나 원자가 제거됩니다. 재직 기간에 따른 유지 계수(tenure-dependent retention factor)는 장기간 유지된 항목이 조기에 제거되는 것을 방지합니다.

주요 기여

공간 기술의 신경-기호적 정의: 본 논문은 타입이 지정된 실행 가능한 원자적 명령을 통해 도구 호출과 기하학적 계산을 결합하는 통합된 정의를 도입합니다.
NeSy-Spatial 프레임워크: 버퍼링된 궤적의 분석, 융합 및 가지치기를 통해 원자적 명령과 고수준 기술(도구 사용 및 기하학)을 업데이트하는 기술 자기 진화 프레임워크를 제안합니다.
실증적 검증: 세 가지 공간 추론 벤치마크(MMSI, MindCube, OmniSpatial)에 대한 광범위한 평가를 통해 정적 도구 사용 에이전트 및 고정 파이프라인 방식보다 일관된 개선을 입증했습니다.

실험 결과

저자들은 GPT-5.4와 Gemini 2.5 Pro를 백본으로 사용하여 세 가지 데이터셋에 대해 NeSy-Spatial을 평가했습니다.

추론 정확도: NeSy-Spatial은 6개의 백본-데이터셋 설정 중 5개에서 최고의 전반적인 정확도를 달럽했습니다. 특히 Gemini 2.5 Pro를 사용할 때, 가장 강력한 베이스라인들을 상당한 차이로 앞질렀습니다 (예: MindCube에서 +10.12%).
도구 활용도: 프레임워크는 첫 번째 패스 구성적 도구 체인 성공률(FTCS)과 파이썬 실행 성공률을 크게 향상시켜, 더 신뢰할 수 있고 정밀한 도구 사용을 보여주었습니다.
진화 역학: 분석 결과, 기술 라이브러리는 온라인 상호작용을 통해 소수의 시드 기술(3-4개)에서 더 크고 정제된 세트(최대 20개)로 확장되었습니다. 결정적으로, 라이브러리 크기는 단조 증가하지 않았으며, 가지치기가 신뢰할 수 없거나 비활성 상태인 기술을 적극적으로 제거함으로써 축적과 정제 사이의 동적 균형을 유지했습니다.
절제 연구 (Ablation Studies): 기술 진화를 비활성화하거나 도구 사용 또는 기하학 기술 중 하나를 제거하면 성능이 크게 하락했습니다. 이는 온라인 진화와 두 가지 기술 유형의 상호 보완적인 성격이 프레임워크의 성공에 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 NeSy-Spatial이 현재의 공간 추론 에이전트가 가진 핵심적인 격차, 즉 경험으로부터 학습하고 재사용 가능한 절차를 적응적으로 구성하는 능력의 부재를 해결한다고 주장합니다. 처음부터 계획을 세우거나 경직된 템플릿에 의존하는 방식에서 벗어나, NeSy-Spatial은 에이전트가 재사용 가능한 경험을 축적하고, 실패 진단을 통해 기술 구조를 정제하며, 효과적이지 않은 항목을 제거할 수 있게 합니다. 결과는 자기 진화형 신경-기호 기술이 특히 정밀한 기하학적 계산과 다단계 추론이 필요한 시나리오에서 도구 증강된 공간 추론의 신뢰성과 효율성을 개선하는 강력한 경로임을 시사합니다. 저자들은 현재의 평가가 선택된 벤치마크와 도구 환경에 국한되어 있으며, 향후 작업은 더 넓은 작업과 미지의 설정으로의 전이를 조사할 예정이라고 언급했습니다.