🤖 AI

Toward Effective and Reliable LLM Agents via Dynamic Ontology

이 논문은 지식과 관계를 명시적으로 접지(grounding)하여 대규모 언어 모델 에이전트의 다단계 추론 시 증거 활용도와 신뢰성을 향상시키기 위해, 작업 지향적 온톨로지를 동적으로 구축하고 정교화하는 프레임워크인 OaK를 소개한다.

원저자: Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 발전하는 세상에서, '대규모 언어 모델'로 알려진 특정 유형의 소프트웨어가 인간의 언어를 이해하고 생성하는 강력한 도구로 등장했습니다. 이러한 모델들은 단순히 대화를 나누는 것을 넘어, 정보를 검색하거나 디지털 도구를 사용하고, 발견한 내용을 바탕으로 의사결정을 내리는 것과 같이 작업을 작은 단계로 나누어 복잡한 과업을 수행하도록 설계된 프로그램인 '에이전트'를 구축하는 데 자주 사용됩니다. 그러나 이러한 에이전트들이 더 길고 복잡한 업무를 시도할 때, 종종 어려움을 겪곤 합니다. 그들은 필요한 사실을 놓치거나, 논리적 비약을 범하거나, 자신의 메모리에 저장된 방대하고 구조화되지 않은 지식에 너무 과하게 의존하여 오류의 루프에 빠지기도 합니다. 이를 해결하기 위해 연구자들은 에이전트가 항해하는 세계에 대해 더 명확하고 조직화된 지도를 제공함으로써, 모든 단계가 추측이 아닌 신뢰할 수 있는 증거에 기반하도록 보장하는 방법을 탐구하고 있습니다.

난징 대학교와 다른 기관의 연구진은 이러한 신뢰성 문제를 해결하기 위해 'OaK'라고 불리는 새로운 프레임워크를 개발했습니다. 이들의 연구는 '온톨로지(ontology)'라는 개념에 초점을 맞추고 있는데, 이는 본질적으로 개념들과 그들 사이의 관계를 컴퓨터가 엄격하게 해석할 수 있는 방식으로 작성된 구조화된 사전와 같습니다. 전통적인 방식의 구조 생성은 전문가가 모든 규칙을 수동으로 정의해야 하므로 느리고 어려운 과정이지만, 새로운 시스템은 해당 작업에 특화된 지도를 자동으로 생성합니다. 연구진은 각 작업에 맞는 맞-춤형 동적 구조를 구축함으로써 에이전트가 다단계 과업을 계획하고 실행하는 능력을 크게 향arly할 수 있었으며, 이 과정을 더 투명하게 만들고 실패 가능성을 낮출 수 있다는 것을 발견했습니다.

OaK 시스템의 핵심은 에이전트가 실제 작업을 시도하기 전에 일어나는 2단계 프로세스입니다. 먼저, 시스템은 일련의 훈련 예시와 여행 계획이나 고객 데이터 관리와 같은 특정 작업 요구 사항을 살펴봅니다. 그런 다음 시스템은 '호텔', '항공편', '예산'과 같이 관련된 중요한 정보의 유형과 이들이 어떻게 연결되는지를 정의하는 청사진인 '스키마(schema)'를 자동으로 작성합니다. 이 청사진은 단순한 목록이 아니라, 모순이나 누락된 규칙이 없는지 확인하기 위해 논리적 추론기(reasoner)에 의해 엄격하게 검증됩니다. 만약 청사진에 결함이 있다면, 시스템은 다음 단계로 넘어가기 전에 이를 수정합니다. 청사진이 견고해지면, 시스템은 훈련 자료에서 추출한 실제 데이터 포인트들을 청사진의 규칙에 따라 정확하게 조직하여 지식 그래프(knowledge graph)를 구축합니다.

이러한 구조적 토대가 마련되면, 시스템은 에이전트가 사용할 수 있는 전문화된 도구, 즉 '함수(functions)' 세트를 생성합니다. 에이전트에게 항공편을 검색하고, 가격별로 필터링하고, 예약 가능 여부를 직접 확인하는 방법을 스스로 알아내라고 요구하는 대신, 시스템은 이러한 특정 동작들을 정확하게 수행하는 사전 제작된 도구들을 제공합니다. 그러면 에이전트는 청사진의 엄격한 규칙에 따라 이 도구들을 사용하여 문제를 해결합니다. 만약 에이전트가 실수를 하거나 작업이 실패하면, '판사(judge)' 모델이 전체 과정을 검토하여 청사진이나 도구의 어느 부분이 잘못되었는지 식별하고 개선 사항을 제안합니다. 이러한 구축, 테스트, 개선의 순환은 시스템이 보이지 않는 질문들을 처리할 만큼 견고해질 때까지 여러 번 반복됩니다. 그 결과, 에이전트가 데이터와 상호작용할 때 사용하는 신뢰할 수 있는 인터페이스인 '커널(kernel)'이 만들어지며, 이를 통해 모든 결정이 증거에 의해 뒷받침되고 에이전트가 실수로 사실을 지어내거나 제약 조건을 무시할 수 없도록 보장합니다.

연구진은 이 접근 방식이 현실 세계에서도 유효한지 확인하기 위해 세 가지 매우 다른 유형의 과제에 대해 테스트를 진행했습니다. 첫 번째는 예산과 일정 제약 조건을 준-수하면서 항공편, 호텔, 식사, 활동을 준비해야 하는 여행 계획 작업이었습니다. 두 번째는 복잡한 회사 정책을 따르고 특정 기록을 검색해야 하는 비즈니스 환경에서의 고객 관계 관리였습니다. 세 번째는 상세한 질문에 답하기 위해 항공 데이터베이스 및 레스토랑 리뷰와 같은 다양한 외부 소스의 정보를 결합하는 능력을 테스트했습니다. 모든 경우에서 OaK 시스템은 표준 방식보다 우수한 성능을 보였습니다. 예를 들어, 여행 계획 작업에서 기본 모델 중 하나를 사용했을 때 완전하고 유효한 일정을 완료하는 성공률이 약 15%에서 거의 56%로 향상되었고, 다른 모델의 경우 약 4%에서 거의 20%로 향상되었습니다. 또한 비즈니스 및 데이터 작업에서도, 특히 에이전트가 엄격한 규칙을 따르거나 여러 테이블에서 데이터를 결합해야 하는 시나리오에서 상당한 성과를 보여주었습니다.

이 연구는 또한 왜 이러한 개선이 일어났는지 밝혀냈습니다. 연구진이 맞춤형 도구를 제거하거나 여러 차례의 개선 과정을 거치지 않도록 했을 때 성능이 급격히 떨어졌습니다. 이는 단순히 에이전트에게 데이터에 대한 접근 권한을 주는 것만으로는 충분하지 않으며, 에이전트가 효과적으로 행동을 조정하기 위해서는 구조화된 규칙과 사전 패키징된 도구가 필요하다는 것을 나타냅니다. 시스템은 에이전트의 추론 과정을 가시적이고 제약된 상태로 만듦으로써, 근거 없는 가정으로 빠져드는 것을 방지하며 작동합니다. 새로운 방식은 더 단순한 접근 방식보다 실행 시간이 약간 더 걸리고 더 많은 출력 텍스트를 생성했지만, 입력 토큰은 더 적게 사용했는데, 이는 구조화된 인터페이스가 에이전트가 필요한 정보를 처리하는 데 있어 더 효율적임을 시사합니다. 연구진은 도메인 지식을 실행 가능하고 자기 수정이 가능한 인터페이스로 전환함으로써, 인공지능 에이전트를 더욱 신뢰할 수 있고 믿음직하며, 현실 세계의 응용 분야에서 요구되는 복잡한 다단계 추론을 처리할 수 있도록 만들 수 있다고 결론지었습니다.

기술 요약: OaK – 동적 온톨로지를 통한 효과적이고 신뢰할 수 있는 LLM 에이전트 구현

문제 정의

현재의 대규모 언어 모델(LLM) 에이전트는 모델 파라미터 내에 인코딩된 지식이나 비정형 컨텍스트에 크게 의존하고 있습니다. 도메인 특화 작업에서 이러한 의존성은 핵심적인 의미론적 연결을 암시적인 상태로 남겨두어, 불완전한 증거 활용과 취약한 다단계 의사결정을 초래합니다. 온톨로지는 도메인 개념과 관계를 기계가 해석 가능한 구조로 외재화하는 메커니즘을 제공하지만, 전통적인 온톨로지 구축은 상당한 전문가의 노력을 필요로 하며 확장성이 부족합니다. 또한 자동 구축 역시 도전적인 과제입니다. 의미론적으로 그럴듯해 보이는 온톨로지라 할지라도 실제 의사결정에 필요한 구체적인 관계 구조를 결여할 수 있기 때문입니다.

식별된 핵심 과제는 현재의 에이전트 아키텍처(예: ReAct, 성찰 기반 루프)가 계획 및 메모리 재사용은 개선하지만, 허용 가능한 개념과 액션 시퀀스의 집합을 암시적인 상태로 남겨둔다는 점입니다. 결과적으로 에이전트의 행동은 무엇을 실행할 수 있는지 또는 결과를 어떻게 검증해야 하는지에 대한 강제 가능한 계약(contract)이 부족하며, 이로 인해 실행 실패를 추적하거나 출력이 뒷받침되는 증거에 근거하도록 보장하기 어렵습니다.

방법론: OaK 프레임워크

저자들은 LLM 에이전트를 위한 의미론적 및 절차적 계약 역할을 수행할 수 있도록, 작업 지향적 온톨로지를 동적으로 구축하고 정교화하는 프레임워크인 **OaK (Ontology-as-a-Kernel)**를 제안합니다. OaK는 훈련 데이터에 대한 구축 단계와 미학습 쿼리에 대한 추론 단계의 두 가지 뚜렷한 단계로 작동합니다.

1. 온톨로지 커널 (The Ontology Kernel)

이 프레임워크는 작업 인터페이스를 커널 $K = (S, F)$ 로 패키징합니다:

$S$ (Schema): 가용한 도메인 개념, 속성, 관계 및 제약 조건을 정의하는 작업 지향적 스키마.
$F$ (Functions): 검색(retrieval), 필터링(filtering), 순회(traversal), 투영(projection), 집계(aggregation) 및 다단계 추론을 위한 실행 가능한 절차를 정의하는 타입 지정된 추론 함수 세트.

2. 구축 루프 (Construction Loop)

구축 단계는 훈련 데이터를 대상으로 4단계의 반복적 정교화 루프를 실행합니다:

1단계: 스키마 구축: LLM이 작업 설명과 훈련 샘플을 분석하여 요구사항 명세( $R$ )를 초안합니다. 그 후 $R$ 과 이전 라운드의 피드백을 바탕으로 스키마( $S_t$ )를 작성합니다. 이 초안은 OWL 온톨로지로 인코딩되어 논리적 타당성(배타성, 제한, 일관성 및 만족 불가능한 클래스 여부)을 확인하기 위해 HermiT 추론기를 통해 형식 검증을 거칩니다. 유효하지 않은 스키마는 반례를 바탕으로 수정됩니다.
2단계: 지식 그래프 인스턴스화: 검증된 스키마를 사용하여 참조 코퍼스로부터 지식 그래프( $G_t$ )를 인스턴스화합니다. 이는 텍스트 청크를 타입이 지정된 엔티티와 관계로 매핑하는 "chunk–map–merge" 파이프라인을 사용하며, 이후 중복을 해결하기 위해 스키마에 선언된 기본 키(primary key)를 사용하여 정준 노드(canonical nodes)를 생성하는 병합 연산자를 따릅니다.
3단계: 지식 추론 (함수 합성): 컴포저(composer) LLM은 훈련 쿼리에서 관찰되는 반복적인 추론 패턴을 기반으로 일반적인 연산자(예: 엔티티 조회, 제약 조건 필터링)를 합성하여 도메인 적응형 함수 카탈로그( $F_t$ )를 구성합니다. 이 함수들은 $G_t$ 상에서 실행 가능성을 보장하기 위해 테스트됩니다.
4단계: 온톨로지 평가: ReAct 에이전트가 현재 커널을 사용하여 훈련 쿼리를 실행합니다. 판사(judge) 모델은 실행 궤적, 작업 점수 및 커널 자체를 검토하여 추가, 삭제 또는 수정을 위한 피드백( $\psi_t$ )을 생성하며, 이는 다음 반복의 1단계와 3단계로 피드백됩니다.

3. 추론 단계 (Inference Phase)

루프가 종료되면 커널은 고정됩니다 ( $S^*, F^*$ ). 미학습 테스트 쿼리에 대해 에이전트는 검증된 이 의미론적 공간 내에서 엄격하게 작동합니다. 에이전트는 쿼리별 그래프( $G_q$ )를 인스턴스화하고, 스키마에 따라 타입이 지정된 인자를 바인딩하여 고정된 함수들을 도구로서 호출함으로써 작업을 해결합니다. 이는 에이전트가 지원되지 않는 추론을 자유롭게 생성하는 것을 방지하고, 스키마에 의해 제약된 실행 가능한 합성 내로 제한합니다.

주요 기여

커널로서의 온톨ology: 작업 지향적 스키마를 타입 지정된 추론 함수 및 스키마 가이드 증거 그래프와 결래하여, LLM과 도메인 작업 사이의 제어된 인터페이스 역할을 하는 프레임워크를 도입했습니다.
자동 구축 파이프라인: 전문가의 수동 개입 없이 검증된 스키마를 구축하고, 지식 그래프를 인스턴스화하며, 일반 연산자를 실행 가능한 도메인 함수로 컴파일하는 시스템을 구축했습니다.
판사 주도 정교화 (Judge-Driven Refinement): 공식적인 작업 점수와 실행 궤적을 사용하여 구축 라운드 전반에 걸쳐 스키마 및 함수 실패를 진단하고 수리하는 메커니즘을 제공합니다.
실증적 검증: 다양한 벤치마크와 LLM 백본에 대해 일관된 성능 향상을 입증하는 포괄적인 실험을 수행했습니다.

실험 결과

OaK는 TravelPlanner (다단계 계획), CRMArenaPro (CRM 워크플로우 실행), ToolQA (이질적 코퍼스에 대한 합성적 도구 사용)의 세 가지 벤치마크에서 평가되었습니다. 프레임워크는 DeepSeek-v4-flash와 GPT-4o-mini라는 두 가지 LLM 백본을 사용하여 테스트되었습니다.

TravelPlanner: OaK는 가장 높은 최종 통과율(pass rates)을 달iah했으며 모든 매크로 수준 지표를 선도했습니다. OaK는 명시적인 스키마와 통합된 함수를 통해 교차 컴포넌트 제약 조건(날짜, 예산, 교통수단)을 효과적으로 조정함으로써 강력한 베이스라인(ReAct, AFlow, MemP, ReCode, AgentSquare)을 능가했습니다.
CRMArenaPro: OaK는 B2B 및 B2C 설정 모두에서 가장 높은 평균 점수를 기록했으며, 특히 정책(Policy) 및 데이터베이스(Database) 작업에서 뛰어난 성능을 보였습니다. 스키마에 기반한 실행은 복잡한 데이터 추론 및 레코드 선택에 대한 백본 모델의 부담을 줄여주었습니다.
ToolQA: OK는 가장 높은 가중 평균 성능을 확보하였으며, 질문을 타입이 지정된 재사용 가능한 절차로 매핑함으로써 이질적인 코퍼스에 대한 우수한 합성 능력을 입증했습니다.

**절제 연구(Ablation Studies)**는 각 구성 요소의 필요성을 확인했습니다:

**함수 합성(Function Composition)**을 제거했을 때 가장 큰 성능 저하가 발생했는데, 이는 에이전트가 각 쿼리에 대해 의존적인 연산을 재구성하는 데 어려움을 겪었기 때문입니다.
**함수 모듈(Function Module)**을 제거하면 재사용 가능한 절차가 사라져, 에이전트가 전체 그래프 위에서 직접 추론해야 하는 상황이 발생했습니다.
반복적 정교화(Iterative Refinement)(단일 라운드 구축)를 제거하면 성능이 현저히 낮아졌으며, 이는 누락된 제약 조건과 추론 격차를 수정하기 위한 판사 가이드 수리의 필요성을 강조합니다.

비용 분석: OaK는 그래프 인스턴스화로 인해 런타임 및 출력 토큰 비용이 더 높지만, ReAct 및 MemP와 같은 베이스라인에 비해 더 적은 입력 토큰으로 더 높은 작업 성능을 달성했습니다. 이는 스키마에 적응된 함수가 대규모 컨텍스트 재구축의 필요성을 줄여준다는 것을 시사합니다.

의의 및 주장

본 논문은 OaK가 도메인 의미론과 실행 가능한 행동을 명시화함으로써 LLM 에이전트의 신뢰성 격차를 해결한다고 주장합니다. "의미론적 및 절차적 계약"으로서 작용하는 온톨로지 커널은 에이전트의 행동을 제약하여 출력이 뒷받침되는 증거와 연결되도록 보장하고, 잘못된 단계를 식별하고 수정할 수 있도록 합니다.

저자들은 OaK가 작업 인터페이스 자체를 구조화함으로써 기존의 에이전트 제어 메커니즘(성찰 및 메모리 등)을 보완한다고 강조합니다. 결과는 작업 요구사항과 에이전트 실행 사이의 인터페이스를 명시적으로 정의하는 것이 복잡한 다단계 추론 작업에서 LLM 에이전트의 효과성과 검사 가능성을 모두 향상시킨다는 것을 보여줍니다. 저자들은 그래프 인스턴스화 비용과 LLM 기반 추출기 및 판사에 대한 의존성을 언급하며 한계점을 인정하였고, 재사용 가능한 그래프 및 더 풍부한 연산자 라이브러리에 대한 향후 연구 방향을 제시했습니다.