💻 computer science

Uncertainty Quantification for LLM Function-Calling

이 논문은 LLM의 함수 호출(Function-Calling) 작업에서 발생할 수 있는 오류를 방지하기 위해 불확실성 정량화(UQ) 기법을 최초로 평가하였으며, 함수 호출 출력의 특성을 활용해 기존 UQ 방법론의 성능을 개선할 수 있는 방안을 제시합니다.

원저자: Zihuiwen Ye, Lukas Aichberger, Michael Kirchhof, Sinead Williamson, Luca Zappella, Yarin Gal, Arno Blaas, Adam Golinski

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihuiwen Ye, Lukas Aichberger, Michael Kirchhof, Sinead Williamson, Luca Zappella, Yarin Gal, Arno Blaas, Adam Golinski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 상황 설정: "초보 요리사 AI"

당신은 아주 똑똑하지만 가끔 엉뚱한 실수를 하는 **'초보 요리사 AI'**를 고용했다고 상상해 보세요. 이 요리사는 레시피를 보고 요리를 하는 게 아니라, 직접 **'조리 도구(함수)'**를 집어 들어서 요리를 합니다.

정상적인 상황: "소금을 5g 넣으세요"라는 명령을 받고, 정확히 소금통을 집어 5g을 넣습니다.
위험한 상황: "설탕을 넣으세요"라는 명령을 받았는데, 실수로 **'소금통'**을 집거나, 양 조절을 못 해서 **'소금 한 통'**을 다 부어버립니다. (이건 되돌릴 수 없는 대참사죠!)

이때, 요리사가 도구를 집기 직전에 **"저 지금 이거 제대로 하는 거 맞나요? 확신하시나요?"**라고 물어볼 수 있다면 어떨까요? 이 **'확신의 정도'**를 측정하는 기술이 바로 이 논문이 다루는 **'불확실성 정량화(Uncertainty Quantification, UQ)'**입니다.

🔍 논문의 핵심 내용 (3단계 요약)

1. "여러 번 물어보는 것보다, 한 번을 제대로 보는 게 낫다" (의외의 발견)

보통 사람들은 "확실하지 않으면 여러 번 물어봐!"라고 말합니다. AI에게도 똑같은 방법을 썼죠. 똑같은 질문을 10번 던져보고 답변이 다 다르면 "아, 얘는 지금 헷갈려 하는구나!"라고 판단하는 방식(Multi-sample)입니다.

그런데 연구 결과, 이 방식이 생각보다 별로였습니다. 요리사에게 10번 물어보는 것보다, 요리사가 **단 한 번 도구를 집으려고 할 때의 눈빛(확률값)을 유심히 관찰하는 것(Single-sample)**이 훨씬 더 정확하게 실수를 잡아냈습니다.

2. "껍데기 말고 알맹이에 집중하라!" (새로운 전략)

요리사가 요리할 때, "냄비를 잡는다", "가스레인지를 켠다" 같은 동작은 아주 당연하고 기계적인 동작입니다. 이런 건 헷갈릴 일이 거의 없죠. 진짜 중요한 건 "소금을 넣을까, 설탕을 넣을까?" 혹은 "얼마나 넣을까?" 같은 핵심 결정입니다.

논문 저자들은 AI의 답변 중에서 **'진짜 의미 있는 단어(알맹이)'**만 골라내서 확인하는 방법을 제안했습니다.

기존 방식: "소금", "을", "5", "g", "넣는다"라는 문장 전체의 확률을 다 계산함. (불필요한 단어 때문에 계산이 꼬임)
논문의 방식: "소금"(재료), "5"(양) 처럼 실수를 할 법한 핵심 단어의 확신도만 집중적으로 체크함.

이렇게 하니 AI가 실수할 것 같은 순간을 훨씬 더 잘 잡아낼 수 있었습니다.

3. "구조를 이해하면 더 똑똑해진다" (똑똑한 분류)

요리사가 "소금 5g"이라고 말하나, "5g의 소금"이라고 말하나 결과는 같습니다. 기존 방식은 글자 하나만 달라도 "어? 답변이 다르네? 헷갈려 하나 봐!"라고 오해했습니다.

연구진은 AI의 답변을 **'구조(AST)'**로 분석해서, 글자 모양은 달라도 '의미(재료와 양)'가 같으면 같은 답변으로 인정하도록 만들었습니다. 덕분에 AI의 진짜 혼란 상태를 더 정확히 알 수 있게 되었습니다.

💡 결론: 이 연구가 왜 중요한가요?

우리가 AI에게 "내 통장에서 10만 원을 송금해줘"라고 시켰을 때, AI가 "송금할까요?"라고 묻는 대신 **"어... 음... (확신 없음)"**이라는 신호를 보낸다면, 우리는 그 명령을 실행하기 전에 멈출 수 있습니다.

이 논문은 AI가 '자신감 없는 행동'을 할 때 우리가 미리 알아차릴 수 있는 가장 효율적인 방법이 무엇인지 알려주는 가이드라인과 같습니다.

한 줄 요약:

"AI가 도구를 쓸 때, 쓸데없는 말에 휘둘리지 말고 핵심적인 결정(재료, 양 등)에 대한 확신을 체크하는 것이 실수를 막는 가장 좋은 방법이다!"

[기술 요약] LLM 함수 호출(Function-Calling)을 위한 불확실성 정량화(UQ) 연구

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)은 단순 텍스트 생성을 넘어 API 호출 및 도구 사용(Tool-use)을 통해 외부 환경과 상호작용하는 함수 호출(Function-Calling, FC) 능력을 갖추고 있습니다. 그러나 FC의 오류는 단순한 오답을 넘어 데이터 삭제, 금융 거래 오류 등 되돌릴 수 없는(irreversible) 심각한 결과를 초래할 수 있습니다.

따라서 모델이 함수를 실행하기 전, 해당 호출이 정확할지에 대한 **'확신도(Confidence)'**를 측정하는 불확실성 정량화(Uncertainty Quantification, UQ) 기술이 필수적입니다. 하지만 기존의 UQ 연구는 주로 분류(Classification)나 자연어 질의응답(Q&A)에 집중되어 있었으며, 구조화된 출력을 요구하는 FC 환경에 특화된 체계적인 평가는 부재한 상태였습니다.

2. 연구 방법론 (Methodology)

2.1 벤치마크 구축

연구진은 Berkeley Function Calling Leaderboard (BFCL) 데이터셋을 기반으로 FC 환경에 특화된 최초의 UQ 벤치마크를 구축했습니다. 8개의 다양한 LLM(Qwen, Gemma, Ministral 등)을 대상으로 다음 네 가지 작업 유형을 평가했습니다:

Simple: 단일 함수 호출.
Multiple: 여러 함수 중 적절한 함수 선택.
Parallel: 여러 함수를 병렬로 호출.
Parallel-Multiple: 여러 함수 중 필요한 것을 선택하여 병렬 호출.
Irrelevance: 도구로 해결 불가능한 요청(거절 능력 평가).

2.2 평가 지표

AUROC (Area Under the ROC Curve): 불확실성 점수가 정답과 오답을 얼마나 잘 구별하는지 측정하는 핵심 지표.
SmoothECE: 모델의 확신도가 실제 정확도와 얼마나 일치하는지(Calibration) 측정.
Risk-Coverage Curves: 불확실성이 높은 호출을 거절(Abstention)했을 때 정확도가 얼마나 향상되는지 분석.

2.3 UQ 방법론 분류

Single-sample methods: 단일 생성 결과의 토큰 확률(Logits)을 집계. (예: MAX, AVG, G-NLL)
Multi-sample methods: 여러 번 샘플링하여 생성된 결과들 사이의 엔트로피를 측정. (예: Semantic Entropy, Predictive Entropy)

3. 주요 기여 및 연구 결과 (Key Contributions & Results)

3.1 주요 발견 (Key Findings)

Multi-sample의 비효율성: 자연어 Q&A에서는 복잡한 Multi-sample 방식(Semantic Entropy 등)이 우수하지만, FC 환경에서는 단순한 Single-sample 방식(G-NLL)이 Multi-sample 방식보다 성능이 좋거나 대등함을 발견했습니다.
토큰 확률 패턴의 차이: FC에서는 모델이 대부분의 토큰에 매우 높은 확률(≈1.0)을 부여하며, 오직 극소수의 토큰에서만 불확실성을 보입니다. 이로 인해 샘플 간의 의미적 차이가 적어 Multi-sample 방식의 이점이 상쇄됩니다.

3.2 FC 특화 UQ 방법론 제안 (Proposed Adaptations)

연구진은 FC 출력의 구조적 특성을 활용하여 기존 UQ 성능을 개선하는 두 가지 변형 모델을 제안했습니다.

AST 기반 클러스터링 (Multi-sample 개선):
- 기존 Semantic Entropy는 문자열이 완벽히 일치해야 같은 의미로 간주(EXM)했으나, 이는 인자(Argument)의 순서가 바뀌는 경우를 반영하지 못합니다.
- 연구진은 **추상 구문 트리(Abstract Syntax Tree, AST)**를 사용하여 인자 순서가 달라도 논리적으로 동일한 함수 호출이면 같은 클러스터로 묶도록 개선했습니다.
의미론적 중요 토큰(SMT) 추출 (Single-sample 개선):
- 기존 G-NLL은 문법적으로 필수적인 토큰(예: =, [)의 확률까지 모두 계산하여 점수가 왜곡될 수 있습니다.
- 연구진은 함수 이름, 파라미터 이름, 파라미터 값 등 **실제 의사결정에 영향을 미치는 '의미론적 중요 토큰(Semantically Meaningful Tokens)'**만을 선별하여 불확실성을 계산하는 G-NLL $_{SMT}$ 를 제안했습니다.

3.3 결과 요약

G-NLL $_{SMT}$ 는 모든 작업 조합에서 기존 G-NLL보다 일관되게 높은 AUROC를 기록하며 가장 우수한 성능을 보였습니다.
제안된 방법론들은 모델의 Calibration(교정) 성능 또한 크게 향상시켰습니다.

4. 연구의 의의 (Significance)

학술적 의의: LLM의 도구 사용(Tool-use) 능력에 있어 '신뢰성' 문제를 다룬 최초의 체계적인 UQ 평가 프레임워크를 제시했습니다.
실무적 의의:
- 복잡하고 비용이 많이 드는 Multi-sample 방식 대신, 가볍고 효율적인 Single-sample 기반의 SMT 방식이 실무(특히 온디바이스 AI)에서 더 효과적인 가드레일이 될 수 있음을 입증했습니다.
- 모델이 스스로 "모르겠다"고 판단하여 실행을 멈추게 함으로써, 자율형 AI 시스템의 안전성을 확보할 수 있는 구체적인 방법론을 제공했습니다.