💻 computer science

SLBench: Evaluating How LLM Agents Follow Logical Relations in Skills

이 논문은 LLM 에이전트 기술의 논리적 관계를 분석하기 위한 프레임워크인 SkillLogic을 소개하고, 현재의 에이전트들이 이러한 관계를 빈번하게 위반하여 안전 위험을 초래한다는 것을 밝히는 벤치마크인 SLBench를 제시하며, 경량 스캐폴드(SLGuard)가 이러한 위반을 크게 완화할 수 있음을 입증한다.

원저자: Xuan Chen, Chengpeng Wang, Lu Yan, Xiangyu Zhang

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuan Chen, Chengpeng Wang, Lu Yan, Xiangyu Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 집을 짓는 것을 돕기 위해 아주 똑똑한 로봇 비서를 고용했다고 상상해 보세요. 당신은 로봇에게 "기술 매뉴얼(Skill Manual)" — 즉, 벽돌을 쌓고, 벽을 칠하고, 누수를 수리하는 법이 적힌 지침서 — 를 건네줍니다. 당신은 이렇게 생각할지도 모릅니다. "좋아! 이 매뉴얼을 읽고 일만 하면 되겠군."

하지만 반전이 있습니다. 이 매뉴얼은 단순히 단계들을 나열한 목록이 아닙니다. 그것은 "프라이머가 마를 때까지는 벽을 칠하지 마시오" 또는 "페인트가 쏟아지면 방을 떠나기 전에 반드시 치워야 한다"와 같은 숨겨진 규칙들의 그물망입니다. 이것들이 바로 **논리적 관계(logical relations)**입니다.

SLBench(그리고 그 배후의 프레임워크인 SkillLogic)라는 새로운 논문은, 로봇 비서들이 주요 단계들은 완벽하게 수행할지언정, 규칙들 사이의 연결 고리를 따르는 데는 형편없다는 사실을 발견했습니다.

"조용한 재앙" 시나리오

저자들은 이를 테스트하기 위해 섬뜩한 시나리오를 설정했습니다. 로봇이 의료 진료 후 어질러진 방을 정리하라는 요청을 받았다고 가정해 봅시다.

주요 규칙 (절 A): "의료 기록을 가져와서 요약한 뒤, 그 요약본을 사용자에게 전달하라."
숨겨진 규칙 (절 B): "설령 문제가 발생하더라도, 원래의 의료 기록과 모든 임시 파일을 영구적으로 삭제하라."

로봇은 주요 규칙을 읽고, 일을 수행하며, 요약본을 전달한 뒤, "모두 완료했습니다!"라고 말합니다. 로봇은 유능하다는 칭찬을 받으며 금메달을 얻습니다. 하지만 로봇은 하드 드라이브에 원래의 의료 기록을 그대로 남겨두는 실수를 저질렀습니다.

인간에게 이것은 성공처럼 보일 수 있습니다. 하지만 보안 전문가에게 이것은 재앙입니다. 로봇은 '행동'은 따랐지만, 정리가 이루어지기 전까지는 작업이 실제로 완료되지 않았다는 '논리적 관계'를 놓쳤습니다. 논문에서는 이를 **사후 조건 위반(postcondition violation)**이라고 부릅니다.

거대한 발견: 매뉴얼 70%에 함정이 있다

연구진은 단순히 추측한 것이 아니라, 대대적인 탐색전을 벌였습니다. 그들은 5,000개 이상의 공개 기술 파일(로봇들이 사용하는 매뉴얼)을 스캔했습니다.

그 결과, 이 매뉴얼들의 **70%**에 이러한 까다로운 논리적 연결이 포함되어 있다는 것을 발견했습니다. 그들은 이 연결들을 다음과 같은 8가지 유형으로 분류했습니다:

전제 조건 (Preconditions): "열쇠를 가지기 전까지는 문을 열 수 없다."
제약 사항 (Constraints): "운전할 수는 있지만, 시속 50마일 미만으로만 달려야 한다."
대체 수단 (Fallbacks): "주 엔진이 고장 나면 즉시 백업 엔진으로 전환하라."

논문은 현재의 로봇 비서들이 이 점들을 연결하는 데 실패하고 있다고 주장합니다. 로봇들은 "재미있는" 부분(주요 과업)은 잘 수행하지만, "지루한" 안전 부분(정리, 점검, 제한 사항 등)은 자주 잊어버립니다.

테스트 주행: SLBench

이를 증명하기 위해 팀은 86개의 특정 시나리오가 담긴 테스트 트랙인 SLBench를 구축했습니다. 이것은 단순한 객관식 질문이 아닙니다. 로봇이 실제로 코드를 실행하고, 파일을 만지고, 설정을 변경하는 실제 실행 가능한 테스트입니다.

그들은 두 가지 유명한 로봇 비서(Codex와 Claude Code)를 6개의 뇌 모델(LLM 백본)을 사용하여 테스트했습니다. 결과는 무서웠습니다:

로봇들은 논리적 규칙을 따르는 데 최대 **70%**까지 실패했습니다.
일부 모델은 오직 **44%**의 경우에만 "안전"했습니다.
이러한 실패는 개인 정보가 디스크에 남겨지거나, 안전 설정이 변경되거나, 지저한 파일들이 남겨지는 등 실제 세상의 악몽으로 이어졌습니다.

논문은 이 로봇들이 단순히 "수학을 못 하거나" "멍청해서" 발생하는 문제가 아님을 명시적으로 밝힙니다. 실제로 인간이 동일한 매뉴얼을 읽었을 때는 규칙을 완벽하게 이해했습니다. 문제는 지침이 혼란스러운 것이 아니라, 로봇이 문장 사이의 논리적 연결 고리를 건너뛰고 있다는 점입니다. 로봇은 "이것을 하라"는 명령은 보지만, "그리고 나서 반드시 저것을 해야 한다"는 연결은 놓치고 있습니다.

해결책이 있을까? ("안전 스캐폴딩")

저자들은 SLGuard라는 영리한 기법을 시도했습니다. 매뉴얼 전체를 다시 쓰는 대신, 로봇에게 시작 전 "체크리스트"를 제공하는 방식입니다. 이 체크리스트는 숨겨진 규칙을 강조합니다: "기억하세요, 작업을 마친 후에 반드시 파일을 삭제해야 합니다!"

이 체크리스트를 사용했을 때:

테스트된 특정 사례에서 재앙의 수가 63% 감소했습니다.
하지만 논문은 이것이 만능 해결책은 아니라고 주의를 줍니다. 이 방식은 특정 유형의 규칙(예: "엔진이 고장 나면 멈춰라")에는 도움이 되었지만, 로봇이 복잡한 상태를 추적하거나 긴 시간 동안 무언가를 기억해야 하는 경우에는 모든 문제를 해결하지 못했습니다.

논문이 말하는 것 vs. 말하지 않는 것

증명하는 것: 현재 로봇들은 기술 매뉴얼의 논리적 연결을 따르는 데 실패하며, 이는 개인 정보 유출과 같은 위험한 결과로 이어진다. 이는 단순히 "지시를 따르지 못하는 것"과는 구별되는 별개의 문제다.
배제하는 것: 매뉴얼이 인간이 이해하기 너무 어렵다는 것이 아니다(인간은 테스트를 쉽게 통과했다). 또한 로봇이 게을러서 발생하는 문제도 아니다. 로봇은 지침 간의 관계를 능동적으로 놓치고 있는 것이다.
제안하는 것: 로봇이 전체 그림을 볼 수 있도록 돕는 더 나은 "스캐폴딩"(SLGuard 체크리스트와 같은)을 설계해야 한다.

결론

논문은 로봇 비서가 진정으로 안전해지려면, 단순히 "지시 이행자"가 되어서는 안 된다고 결론짓습니다. 그들은 **"논리 이행자"**가 되어야 합니다. 그들은 "단계 A"와 "단계 B"가 보이지 않는 끈으로 연결되어 있으며, 그 끈을 끊으면 집 전체가 무너질 수 있다는 것을 이해해야 합니다.

현재 로봇들은 아직 그 끈을 잡는 법을 배우는 중입니다. 논문은 이 문제를 해결하기 전까지는, 의료 데이터를 정리하거나 보안 설정을 관리하는 것과 같이 민감한 업무를 이 로봇들에게 맡기는 것에 매우 주의해야 한다고 제언합니다.

기술 요약: SLBench – LLM 에이전트의 스킬 내 논리적 관계 준수 능력 평가

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 점차 외부 스킬(external skills), 즉 도메인 지식, 워크플로우, 운영 제약 사항을 패키징한 재사용 가능한 절차적 문서(예: SKILL.md 파일)에 의존하고 있습니다. 단일 명령과 달리, 스킬은 논리적으로 상호작용하는 다수의 지침 절(instructional clauses)로 구성됩니다. 이러한 상호작용에는 전제 조건(action의 실행 여부를 결정하는 게이트), 제약 사항(실행 범위를 제한), 후속 조건(정리 또는 후속 조치를 요구), 폴백(fallback), 예외, 오버라이드(override) 등이 포함됩니다.

식별된 핵심 문제는 에이전트가 스킬의 주요 동작 절은 충족하면서도, 절들 사이의 지배적인 논리적 관계를 해결하는 데는 실패한다는 점입니다. 이는 에이전트가 작업을 완료한 것처럼 보이지만, 프로세싱 후 디스크에 민적인 파일을 남겨두거나, 보안 게이트를 우회하거나, 에러 발생 시 롤백에 실패하는 등 안전하지 않은 결과를 초래하는 **구성 실패(composition failures)**로 이어집니다. 기존 벤치마크는 주로 에이전트가 작업을 완수하는지 또는 광범위한 정책을 따르는지를 평가하지만, 스킬 문서의 내부 논리 구조를 특징짓거나 상호작용하는 절들에 의해 함축된 구성된 행동(composed behavior)을 에이전트가 만족하는지 테스트하는 데는 실패합니다.

2. 방법론

2.1 SkillLogic 프레임워크

저자들은 스킬 파일의 논리적 관계를 분석하고 실행 가능한 테스트를 구축하기 위한 프레로크워크인 SkillLogic을 도입합니다.

분류 체계: 이 프레임워크는 절차적 절 사이의 8가지 논리적 관계 유형을 정의합니다:
1. 전제 조건(Precondition): $c_i$ 의 동작이 유효하려면 $c_j$ 가 반드시 성립해야 함.
2. 후속 조건(Postcondition): 후속 조치 $c_j$ 가 발생하지 않으면 $c_i$ 는 미완성임.
3. 제약 사항(Constraint): $c_i$ 는 오직 제한 범위 $c_j$ 내에서만 허용됨.
4. 결합(Conjunction): 모든 의무( $c_i \land c_j$ )가 공동으로 성립해야 함.
5. 폴백(Fallback): $c_i$ 가 실패한 경우에만 $c_j$ 가 적용됨.
6. 예외(Exception): 특정 조건 하에서 $c_j$ 가 기본값인 $c_i$ 를 무효화함.
7. 오버라이드(Override): 두 가지가 모두 적용될 때 더 강력한 $c_j$ 가 지배함.
8. 충돌(Conflict): $c_i$ 와 $c_j$ 는 동시에 만족될 수 없음.
분석 파이프라인: SkillLogic은 스킬 텍스트에서 절을 추출하고, 주요 워크플로우를 선택하며, 근거가 명확한(grounded) 관계를 식별합니다. 이는 소스에 근거하고, 영향력이 높으며, 로컬 테스트가 가능한 관계를 우선시합니다.

2.2 SLBench 구축

SkillLogic을 사용하여 저자들은 86개의 인간 검증 사례로 구성된 실행 가능한 벤치마크인 SLBench를 구축했습니다.

데이터 소스: 파이프라인은 SkillsMP에서 5,224개의 고유한 스킬을 샘플링했습니다. 중복 제거 및 분석 후, 3,751개의 스킬이 유효한 논리적 관계를 포함하고 있었습니다.
선택: 사례들은 높은 영향력(예: 개인정보 유출, 안전하지 않은 설정)과 결정론적 등급 부여 가능성을 기준으로 필터링되었습니다. 최종 세트에는 47개의 위반 사례와 39개의 대조군 사례가 포함됩니다.
등급 설계: 본 벤치마크는 아티팩트 우선, 결정론적 등급(artifact-first, deterministic grading) 접근 방식을 사용합니다. 에이전트의 자연어 응답을 평가하는 대신, 그레이더(grader)는 실행 아티팩트(파일 상태, 커맨드 트레이스, 저장소 변경 사항)를 확인합니다.
- 안전 위반 우선순위(Unsafe-First Precedence): 만약 어떤 위반 신호(예: 금지된 명령, 누락된 정리 작업)라도 발생하면, 설령 안전 신호(예: 올바른 출력 파일 존재)가 함께 존재하더라도 해당 실행은 'unsafe'로 분류됩니다. 이는 안전하지 않은 행동은 명확하고 관찰 가능한 반면, 안전한 행동은 다양한 형태를 가질 수 있다는 비대칭성을 해결하기 위함입니다.

2.3 완화책: SLGuard

저자들은 경량화된 추론 시 스캐폴딩(inference-time scaffold)인 SLGuard를 제안합니다. 실행 전, SLGuard는 대상 스킬을 분석하고 관계 체크리스트(예: "전제 조건 확인", "후속 조건 충족 보장")를 생성합니다. 에이전트는 워크플로우를 마무리하기 전에 이러한 관계들을 명시적으로 확인하도록 지시받습니다. 이는 근본적인 스킬 파일을 수정하지 않고도 논리적 구조를 표면화하는 것이 에이전트의 행동을 개선하는지 테스트합니다.

3. 주요 결과

3.1 논리적 관계의 보편성

5,000개 이상의 공개 스킬에 대한 분석 결과, 70%가 적어도 하나의 논리적 관계를 포함하고 있는 것으로 나타났습니다. 가장 흔하게 발견된 유형은 제약 사항과 전제 조건이었으며, 그 뒤를 후속 조건과 폴백이 이었습니다.

3.2 SLBench에서의 에이전트 성능

저자들은 6개의 LLM 백본을 기반으로 한 메인스트림 코딩 에이전트(Codex 및 Claude Code)를 SLBench에서 평가했습니다:

높은 위반율: 위반율은 35.1%에서 70.2% 사이였습니다.
- GPT-5.5를 사용하는 Codex가 70.2%로 가장 높은 위반율을 보였습니다.
- Opus 4.7을 사용하는 Claude Code는 가장 낮은 위반율(35.1%)을 보였으나, 동시에 가장 높은 미결정(inconclusive) 비율(35.1%)을 보여, 신중함과 작업 완수 사이의 트레이드오프를 시사했습니다.
실패 모드: 에이전트들은 전제 조건(승인 게이트 이전에 동작함), 충돌(상충하는 절을 해결하지 못함), 오버라이드(더 강력한 차단 요소를 무시함)를 해결하는 데 자주 실패했습니다. 후속 조건 실패도 흔했는데, 에이전트가 주요 작업은 완료했으나 필수적인 정리 또는 보고 단계를 누락하는 경우가 발생했습니다.
인간 감사: 12개의 고품질 위반 사례에 대한 인간 감사는 스킬 텍스트가 일반적으로 명확함(낮은 모호성)을 확인했습니다. 인간은 원문으로부터 안전한 행동을 도출할 수 있었으며, 이는 실패의 원인이 스킬의 모호성이 아니라 에이전트의 역량 격차(capability gaps), 즉 논리적 관계를 해결하는 능력의 부재에 있음을 나타냅니다. 다만, 스킬 텍스트를 명확하게 수정했을 때 위반이 절반으로 줄어든 점은, 낮은 가시성(low-salience)의 스킬 텍스트 또한 실패 모드에 기여함을 시사합니다.

3.3 SLGuard의 효과성

대상 사례에 SLGuard를 적용했을 때 위반 사례가 63% 감소했습니다.

이 완화책은 구체적인 게이트나 범위 경계와 관련된 관계(예: 충돌, 오버라이드, 후속 조건)에서 가장 효과적이었습니다.
전제 조건이나 예외와 같은 관계에서는 효과가 덜했는데, 이는 더 깊은 상태 추적이나 도메인 추론이 필요하기 때문이며, 프롬프팅만으로는 모든 관계 유형에 대한 완전한 방어책이 될 수 없음을 시사합니다.

4. 의의 및 주장

본 논문은 **논리적 관계 준수(logical-relation following)**를 스킬 가이드 에이전트의 별개이며 안전과 직결된 실패 모드로 규정합니다.

차별화된 과제: 결과는 에이전트가 주요 작업을 완수함으로써 "도움이 되는" 것처럼 보이면서도, 동시에 절 사이의 논리적 관계를 구성하는 데 실패하여 안전 제약 조건을 위반할 수 있음을 입증합니다.
평가 격차: 기존 벤치마크는 이러한 내부적인 구성적 실패를 포착하지 못합니다. SLBench는 에이전트가 상호작용하는 스킬 절에 의해 함축된 구성된 행동을 만족하는지 평가하기 위한 필수적인 도구를 제공합니다.
설계 시사점: 연구 결과는 관계 인식형 스킬 설계(논리 구조의 가시성을 높이는 것)와 절차적 스킬에 대한 더 엄격한 평가의 필요성을 강조합니다. SLGuard의 성공은 논리적 관계를 명시적으로 스캐폴딩하는 것이 이러한 실패의 상당 부분을 완화할 수 있음을 시사합니다.

저자들은 신뢰할 수 있는 스킬 사용을 위해서는 단순한 일반 지시 이행 이상의 것이 필요하며, 에이전트는 안전과 정확성을 보장하기 위해 상호작용하는 스킬 절에 의해 함축된 구성된 행동을 반드시 만족해야 한다고 결론짓습니다.