💬 NLP

ConformalNL2LTL: Translating Natural Language Instructions into Temporal Logic Formulas with Conformal Correctness Guarantees

이 논문은 대규모 언어 모델과 컨포멀 예측을 결합하여 자연어 지시를 선형 시간 논리 (LTL) 공식으로 변환할 때 사용자가 정의한 정확도 보장을 제공하면서도 사용자 개입을 최소화하는 'ConformalNL2LTL'이라는 새로운 방법을 제안합니다.

원저자: David Smith Sundarsingh, Jun Wang, Jyotirmoy V. Deshmukh, Yiannis Kantaros

게시일 2026-02-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David Smith Sundarsingh, Jun Wang, Jyotirmoy V. Deshmukh, Yiannis Kantaros

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 로봇이 사람의 말을 듣고, 그 말을 정확하게 '로봇용 언어'로 번역하는 새로운 방법을 소개합니다.

기존에는 로봇에게 "빨간 상자를 들어 올려 창고에 가져가"라고 말하면, 로봇이 이를 이해할 수 있는 복잡한 논리 수식 (LTL) 으로 바꾸는 작업에 전문가의 손이 많이 필요했고, 실수가 잦았습니다. 이 논문은 그 문제를 해결하기 위해 **'ConformalNL2LTL'**이라는 새로운 시스템을 제안합니다.

이 시스템을 이해하기 쉽게 **'정교한 번역 팀'**과 **'안전 장치가 있는 건축가'**의 비유로 설명해 드리겠습니다.

1. 문제 상황: "로봇이 내 말을 오해하면 큰일 나!"

로봇에게 "빨간 상자를 들어 창고로 가져가"라고 말한다고 상상해 보세요.

기존 방식: AI(대형 언어 모델) 가 이 말을 한 번 듣고 바로 번역합니다. 하지만 AI 는 자신감이 넘쳐서 틀린 말을 할 수도 있습니다. 예를 들어, "창고에 놓아라 (put down)"를 "창고에 가져가라 (go to)"로 잘못 번역하면, 로봇은 상자를 들고 창고에 도착했을 때 상자를 놓지 않고 그냥 서 있게 됩니다.
결과: 로봇은 명령을 따랐지만, 원래 의도한 일을 하지 못합니다.

2. 해결책: ConformalNL2LTL (확신 있는 번역 팀)

이 논문이 제안하는 방법은 한 명의 번역가가 일방적으로 결정하는 것이 아니라, 팀워크와 안전 장치를 통해 번역하는 것입니다.

🏗️ 비유 1: "조각조각 맞추는 건축가"

이 시스템은 한 번에 전체 문장을 번역하지 않습니다. 마치 레고 블록을 하나씩 쌓아 올리는 건축가처럼, 문장을 한 단어, 한 기호씩 차근차근 만들어갑니다.

"빨간 상자"를 번역했다면, 다음 단계에서 "들어 올리다"를 번역하고, 그다음 "창고"를 번역하는 식입니다.
매 단계마다 AI 가 "이게 맞을까?"라고 스스로 질문합니다.

🛡️ 비유 2: "확신 계량기 (Conformal Prediction)"

여기서 핵심은 **'확신 계량기'**입니다.

주 번역가 (Primary AI): 먼저 답을 내놓습니다. 하지만 AI 는 "내가 100% 맞다"라고 말하지 않습니다. 대신 "내가 이 답을 여러 번 말했을 때, 몇 번이나 같은 답이 나왔을까?"를 계산합니다.
안전 장치: 만약 AI 가 "내 확신이 99% 미만이야"라고 판단하면, 바로 결정을 내리지 않고 다음 단계로 넘어가지 않습니다. 대신 "도움이 필요해!"라고 외칩니다.

🤝 비유 3: "두 번째 전문가 (Auxiliary AI) 와 인간의 개입"

주 번역가가 확신이 없을 때, **두 번째 전문가 (보조 AI)**에게 도움을 요청합니다.

보조 AI 가 확인: 보조 AI 도 같은 문제를 풀어서 답을 냅니다.
합의 시도: 두 AI 의 답이 일치하면, 그 답을 채택합니다. (예: 둘 다 "빨간 상자"라고 하면, "좋아, 이게 맞구나!")
인간의 최종 판단: 만약 두 AI 의 답도 다르고, 둘 다 확신이 없다면, 실제 인간이 선택하도록 요청합니다.
- 중요한 점: 기존 방식은 AI 가 틀릴 때마다 인간이 계속 개입해야 했지만, 이 방식은 AI 들이 먼저 서로 확인하므로 인간이 개입할 일이 매우 적습니다.

3. 이 방법의 핵심 장점

목표 달성률 보장: "우리는 99% 의 확률로 로봇이 내 말을 정확히 이해하게 만들겠다"라고 설정하면, 시스템은 그 목표를 달성할 때까지 AI 들을 조율하거나 인간에게 도움을 요청합니다.
인간의 개입 최소화: AI 들이 서로 확인하는 과정을 거치기 때문에, 인간이 개입해야 하는 경우는 거의 없습니다 (실험 결과 약 0.3% 만 필요함).
실수 방지: AI 가 자신감 있게 틀린 말을 할 때 (고신뢰 오류), 이 시스템은 그걸 감지하고 다시 확인하거나 인간에게 물어봄으로써 실수를 막습니다.

4. 요약: 이 기술이 왜 중요한가?

이 기술은 **"로봇이 사람의 말을 들을 때, 무조건 믿지 않고 검증한다"**는 철학을 담고 있습니다.

마치 식당에서 요리사가 주문을 받아 요리할 때, "이게 맞나요?"라고 한 번 더 확인하고, 만약 헷갈리면 셰프 (인간) 에게 물어보는 시스템과 같습니다.

이 덕분에 로봇은 복잡한 미션 (감시, 데이터 수집, 물품 운반 등) 을 수행할 때, 사람의 말을 오해해서 낭패를 보는 일이 줄어들고, 안전하고 정확하게 임무를 수행할 수 있게 됩니다.

결론

ConformalNL2LTL은 AI 가 번역할 때 "내가 틀릴 수도 있다"는 것을 인정하고, 그 불확실성을 수학적으로 계산하여 인간의 도움을 최소화하면서도 높은 정확도를 보장하는 똑똑한 번역 시스템입니다. 이는 로봇이 우리 일상에서 더 안전하고 신뢰할 수 있게 활동하는 데 큰 도움이 될 것입니다.

이 논문은 자율 시스템의 작업 지시를 자연어 (Natural Language, NL) 에서 선형 시계 논리 (Linear Temporal Logic, LTL) 공식으로 변환하는 새로운 방법론인 ConformalNL2LTL을 제안합니다. 기존 방법론들이 번역 정확도에 대한 보장이 부족하다는 문제를 해결하기 위해, **합의 예측 (Conformal Prediction, CP)**을 활용하여 사용자가 정의한 성공 확률을 보장하면서도 사용자 개입을 최소화하는 프레임워크를 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem Statement)

배경: LTL 은 로봇의 감시, 커버리지, 데이터 수집 등 복잡한 임무를 명세화하는 강력한 형식적 언어입니다. 하지만 LTL 을 직접 작성하려면 높은 도메인 전문성과 수작업이 필요합니다.
현황: 최근 대규모 언어 모델 (LLM) 을 활용하여 자연어 지시를 LTL 로 자동 변환하는 연구들이 진행되고 있습니다.
한계: 기존 LLM 기반 변환 방법들은 모델의 불확실성을 고려하지 않아, 생성된 LTL 공식이 원래 자연어 지시와 의미적으로 일치하지 않을 수 있습니다. 이는 로봇이 잘못된 계획을 수행하게 만드는 치명적인 오류로 이어질 수 있습니다.
목표: 사용자가 설정한 신뢰 수준 (예: 99% 성공률) 을 만족하면서, 자연어 지시를 LTL 로 변환하는 알고리즘을 설계하되, 불확실성이 높은 경우에만 사용자의 도움을 요청하여 자율성을 유지하는 것입니다.

2. 방법론 (Methodology: ConformalNL2LTL)

제안된 방법은 LTL 공식 생성을 일련의 상호 의존적인 질문 - 답변 (QA) 작업으로 분해하고, 이를 **주요 모델 (Primary LLM)**과 **보조 모델 (Auxiliary LLM)**이 협력하여 해결합니다.

점진적 변환 (Incremental Translation):
- 자연어 지시와 현재까지 생성된 부분 LTL 공식을 바탕으로, 다음 단계의 논리/시간 연산자나 원자 명제 (Atomic Proposition, AP) 를 LLM 에게 요청합니다.
- 이 과정은 LTL 공식이 완성될 때까지 반복됩니다.
불확실성 정량화 및 합의 예측 (Conformal Prediction):
- 단일 응답을 신뢰하는 대신, 동일한 프롬프트로 LLM 을 $m$ 번 쿼리하여 응답의 빈도수를 모델의 신뢰도 (Confidence) 의 근사치로 사용합니다.
- **합의 예측 (CP)**을 적용하여, 사용자가 지정한 신뢰 수준 ( $1-\alpha$ ) 을 만족하는 '예측 집합 (Prediction Set)'을 생성합니다. 이 집합에는 정답이 포함될 확률이 보장됩니다.
- 만약 예측 집합이 단일 원소 (Singleton) 라면 해당 응답을 선택하고, 여러 원소가 있다면 불확실성이 높은 것으로 간주합니다.
협력적 도움 요청 (Collaborative Help Mechanism):
- 1 단계 (보조 모델): 주요 모델의 예측 집합이 불확실할 때, 동일한 방식으로 쿼리한 보조 LLM에게 도움을 요청합니다.
- 2 단계 (사용자): 두 모델의 예측 집합을 교집합 (Intersection) 하여 공통된 답이 하나만 남으면 이를 선택합니다. 교집합이 비어 있거나 여전히 불확실하다면, 사용자에게 선택을 요청합니다.
- 이 계층적 구조를 통해 사용자의 개입을 극도로 줄이면서도 높은 정확도를 달성합니다.
의미적 유사성 통합:
- LLM 이 생성한 다양한 텍스트 응답 (예: 'car' vs 'vehicle') 이 의미적으로 동일할 수 있으므로, 임계값 ( $\zeta$ ) 이상의 의미적 유사도를 가진 응답들을 그룹화하여 빈도수를 합산함으로써 모델의 신뢰도를 더 정확하게 추정합니다.

3. 주요 기여 (Key Contributions)

최초의 확률적 보장 NL-to-LTL 변환 알고리즘: 기존 방법론들과 달리, 사용자가 정의한 성공률 ( $1-\alpha$ ) 을 이론적으로 보장하는 최초의 변환 알고리즘을 제안했습니다.
협력적 LLM 과 CP 의 결합: 열린 어휘 (Open-vocabulary) 환경에서 여러 LLM 을 협력적으로 활용하고 CP 를 적용하여 불확실성을 관리하는 새로운 패러다임을 제시했습니다. 이는 오픈소스 및 클로즈드 소스 LLM 모두에 적용 가능합니다.
이론적 및 실증적 검증: CP 의 표준 가정 하에서 성공률 보장을 증명했으며, 실험을 통해 높은 성공률 (99% 이상) 과 매우 낮은 사용자 개입률 (약 0.378%) 을 동시에 달성함을 입증했습니다.
오픈 소스 및 데이터셋 공개: 알고리즘 구현체와 보정 (Calibration) 및 테스트용 데이터셋을 공개했습니다.

4. 실험 결과 (Experimental Results)

성공률 보장: 다양한 신뢰 수준 (95%, 97%, 99%) 에서 설정된 목표 성공률을 달성했습니다 (예: 99% 목표 시 99.24% 달성).
사용자 개입 최소화: 보조 LLM 을 사용할 경우, 99% 성공률 목표에서 사용자 개입률은 **0.378%**에 불과했습니다. 반면, 보조 LLM 없이 주요 모델만 사용할 경우 개입률은 **7.43%**로 크게 증가했습니다.
기존 방법론 대비 우월성:
- Uncertainty-Agnostic (불확실성 무관) 변형: CP 를 제거한 버전은 성공률이 87.4% 로 떨어졌습니다.
- 기존 번역기 (Lang2LTL, nl2spec): 제안된 방법은 기존 방법들 (성공률 53%~88%) 보다 높은 정확도를 보였습니다.
- NL 기반 플래너 (CMAS) 와 비교: LTL 변환을 거친 후 플래너를 사용하는 방식이, 자연어를 직접 계획으로 매핑하는 방식보다 더 높은 성공률과 해석 가능성을 제공했습니다.
분포 외 (OOD) 성능: 학습 분포와 다른 새로운 작업 환경에서도 CP 의 이론적 보장은 깨지지만, 여전히 79~84% 의 성공률을 유지하며 강건함을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 **형식적 방법 (Formal Methods)**과 **대규모 언어 모델 (LLM)**을 융합하여 자율 시스템의 신뢰성을 높이는 중요한 진전을 이루었습니다.

신뢰성: 로봇이 자연어 지시를 따를 때 발생할 수 있는 오해나 오류를 수학적 보장을 통해 방지할 수 있습니다.
실용성: 높은 정확도를 유지하면서도 인간 전문가의 개입을 거의 필요로 하지 않아, 실제 현장에서의 자율 로봇 배포 가능성을 크게 높였습니다.
확장성: 제안된 프레임워크는 다양한 로봇 작업 (탐색, 물체 조작, 통신 등) 에 적용 가능하며, 기존 계획 및 제어 스택과 모듈식으로 통합될 수 있습니다.

결론적으로, ConformalNL2LTL은 자연어 기반 로봇 제어의 '블랙박스' 문제를 해결하고, 안전성과 신뢰성이 보장된 자율 시스템 구축을 위한 핵심 기술로 평가됩니다.