기술 요약: 소형 언어 모델을 통한 코드 리팩토링 기반의 효율적인 스킬 그라운딩 (Efficient Skill-Grounding via Code Refactoring with Small Language Models)

1. 문제 정의

효과적인 스킬 그라운딩(skill grounding)은 체화된 에이전트(embodied agents)를 배포하는 데 있어 매우 중요합니다. 그러나 로봇의 형태(embodiment)나 환경 조건의 미세한 차이만으로도 미리 정의된 스킬이 호환되지 않을 수 있습니다. 기존 방식들은 다음과 같은 트레이드오프에 직면해 있습니다:

• 신경망 하위 정책(Neural Sub-policies): 배포 조건이 변경될 때 재학습이나 미세 조정(fine-tuning)이 필요하며, 이는 높은 계산 오버헤드를 발생시킵니다.
• LLM 기반 Code-as-Policies (CaP): 스킬을 실행 가능한 코드로 표현함으로써 재학训练 없이 추론 시점에 그라운딩을 가능하게 하지만, 기존 방식들은 불일치가 발생할 때마다 전체 스킬 구현을 처음부터 다시 생성해야 합니다. 이는 계산 비용이 많이 들며, 온라인 LLM 접근이 불가능한 용량 제한 장치에서는 실용적이지 않습니다.
• 소형 언어 모델(sLMs): 추론에는 효율적이지만, 복잡하고 긴 호흡(long-horizon)의 코드를 처음부터 재생성할 수 있는 추론 능력이 부족합니다. 결과적으로, sLM이 전체 재생성을 수행하도록 강제될 경우 동적인 환경이나 체화(embodiment) 불일치 상황에서 어려움을 겪습니다.

핵심 과제는 대규모 LLM에 의존하거나 전체 코드 재생성을 수행하지 않고도, sLM을 사용하여 동적이고 부분적으로 관측 가능한 환경에서 효율적인 스킬 그라운딩을 구현하는 것입니다.

2. 방법론: RECENT

저자들은 불변하는 의미적 의도(invariant semantic intent)와 배포 특화 실행 바인딩(deployment-specific execution bindings)을 분리하는 시스템인 RECENT(Refactoring-Centric Agent Framework)를 제안합니다. RECTENT는 코드를 재생성하는 대신 **국소적 코드 리팩토링(localized code refactoring)**을 수행합니다.

핵심 아키텍처

RECENT는 세 단계로 작동합니다:

1. 오프라인 스킬 저장소 구축:

   • 스킬의 의미, 로봇의 능력 및 그 관계(예: requires, provides, substitutable-by)를 선언적으로 인코딩하는 **스킬 온톨로지(Skill Ontology)**를 구축합니다.
   • LLM은 온톨로지와 정렬된 메타데이터가 풍부하게 포함된 실행 가능한 스킬 코드를 생성합니다.
   • 스킬은 참조 로봇(예: Franka Panda)에서 오프라인으로 검증되어 기능적 정확성을 보장합니다. 이는 "무엇을(what, 의미적 의도)"과 "어떻게(how, 실행 바인딩)"를 분리합니다.

2. 온톨로지 기반 추론 (실행 전 그라운딩):

   • 대상 로봇에 배포할 때, 시스템은 온톨로지를 쿼리하여 결정된 충돌(예: API 불일치, 운동학적 제약)을 식별합니다.
   • sLM은 채우기-중간-채우기(Fill-in-the-Middle, FIM) 기능을 사용하여 국소적 편집을 수행합니다. 이는 전역적인 제어 구조를 유지하면서, 온톨로지에서 도출된 대체 힌트(예: API 호출, 파라미터)를 기반으로 특정 코드 스니펫을 교체합니다.
   • 이 단계는 실행이 시작되기 전에 체화 불일치(예: 운동학적 차이, 엔드 이펙터 유형)를 해결합니다.

3. 실시간 적응 (실행 중 그라운딩):

   • 미결정 요소(예: 물체의 포즈 섭동, 접촉 안정성)는 실행 중에 처리됩니다.
   • 시스템은 실행 중 관측값이 예상되는 전제 조건과 일치하는지 모니터링하기 위해 경량화된 **단위 테스트(unit tests)**를 삽입합니다.
   • 단위 테스트가 실패하면, sLM은 현재의 관측치를 가이드 삼아 아직 실행되지 않은 코드 영역을 FIM을 통해 선제적으로 패치합니다. 이를 통해 실행 흐름을 중단하지 않고도 예측 가능한 적응이 가능합니다.

주요 기술 메커니즘

• 분리(Decoupling): 의미적 의도는 기능적 로직에 보존되며, 실행 바인딩만 수정됩니다.
• 재생성 대신 리팩토링(Refactoring over Regeneration): sLM은 전체 프로그램을 생성하는 대신 국소적 편집(코드의 빈 공간을 채움)으로 제한되어, 토큰 사용량과 추론 부담을 획기적으로 줄입니다.
• 온톨로지 가이드(Ontology Guidance): 온톨로지는 모델의 개방형 추론에 의존하는 대신, sLM이 유효한 대체값(예: open_gripper를 deactivate_vacuum으로 매핑)을 찾도록 가이드하는 제약 조건 역할을 합니다.

3. 주요 기여

1. RECENT 프레임워크: 배포 제약 조건 하에서 sLM을 이용한 효율적인 스킬 그라운딩을 가능하게 하여, 대규모 LLM 없이도 긴 호흡의 제어를 실용적으로 만드는 리팩토링 중심의 에이전트 프레임워크를 제공합니다.
2. 스킬 표현: 불변하는 의미적 의도와 배포 특화 실행 바인딩을 명시적으로 분리하여, 전체 재생성이 아닌 국소적 리팩토링을 통한 그라운딩을 용이하게 하는 실행 가능한 코드 형태의 스킬 표현법을 제시합니다.
3. 실증적 검증: 다양한 시나리오(운동학적 변화, 엔드 이펙터 변화, 동적 환경)에 대한 포괄적인 평가를 통해, RECENT가 증류된(distilled) sLM 기반의 CaP보다 우수하며, 엄격한 배포 제약 조건 하에서도 LLM 기반의 CaP 성능에 필적함을 입증했습니다.

4. 실험 결과

저자들은 시뮬레이션(CoppeliaSim 및 Genesis)과 실제 스캔-앤-백(scan-and-bag) 작업에서 RECENT를 평가했습니다.

성능 지표:

• 작업 성공률 (Success Rate, SR): RECENT는 73.00%(운동학적 변화) 및 82.50%(엔드 이펙터 변화)의 성공률을 달성했습니다.
• 그라운딩 오버헤드 (Grounding Overhead, GO): RECENT는 sLM 기반의 CaP(CodeV-R1) 대비 토큰 생성 오버헤드를 99.09 퍼센트 포인트 줄였으며, LLM 기반의 CaP(Codex)보다 57.81 pp 개선된 성능을 보였습니다.
• 실행 연속성 (Execution Continuity): RECENT는 거의 제로에 가까운 실행 중단(EI: ~0.7)과 최소한의 유휴 시간(IT: ~1.77s)을 유지하며, 전체 재생성이 필요한 베이스라인 모델들을 크게 앞질렀습니다.
• 비교: RECENT(Qwen2.5-Coder-7B 사용)는 가장 우수한 sLM 베이스라인인 RepairAgent를 크게 능가했으며, 훨씬 더 큰 모델을 사용하는 LLM 기반 베이스라인(CaP-Codex)과도 대등한 성능을 달치했습니다.

절제 연구 (Ablation Studies):

• 모델 규모: RECENT는 다양한 sLM 제품군(Qwen, CodeGemma)과 크기(1.5B ~ 7B)에 걸쳐 견고한 성능을 유지했으며, 7B 모델은 약 83%의 SR을 달성했습니다.
• 구성 요소: 온톨로지 가이드를 제거했을 때 SR이 61.66 pp 하락하여 의미적 그라운딩의 필수성을 입증했습니다. 실시간 적응(in-situ adaptation)을 제거했을 때는 SR이 16.66 pp 감소하여, 선제적 패칭의 가치를 보여주었습니다.

5. 의의 및 주장

본 논문은 RECENT가 LLM을 사용할 수 없는 자원 제한적 장치에 체화된 에이전트를 배포할 때 발생하는 결정적인 병목 현상을 해결한다고 주장합니다. 온톨로지로부터 추론 부담을 sLM으로 옮기고 국소적 리팩토링으로 제한함으로써, RECENT는 다음을 가능하게 합니다:

• 효율성: 토큰 생성 및 추론 시간을 획기적으로 단축합니다.
• 강건성: 빈번한 중단 없이 동적인 환경에서 안정적인 긴 호흡의 실행을 지원합니다.
• 확장성: 이전에는 대규모 모델이나 재학습이 필요했던 복잡한 제어 작업을 위해 작고 효율적인 모델을 사용할 수 있게 합니다.

저자들은 본 프레임워크가 공유된 스킬 온톨로지가 존재하는 설정에 국한되어 있다고 언급했습니다. 온톨로지에 표현되지 않은 새로운 능력이 필요한 경우는 incremental skill learning(점진적 스킬 학습)에 해당하며, 이는 RECENT의 현재 기능이 아닌 향후 연구 방향으로 식별되었습니다.