💻 computer science

ALARA for Agents: Least-Privilege Context Engineering Through Portable Composable Multi-Agent Teams

이 논문은 방사선 안전의 ALARA 원칙을 차용하여 에이전트의 권한과 컨텍스트를 최소한으로 제한하는 선언적 데이터 계층 (CAT) 과 이를 실행하는 명령어 인터페이스인 `npcsh` 를 제안하고, 다양한 로컬 모델들을 대상으로 한 광범위한 평가를 통해 그 유효성을 입증합니다.

원저자: Christopher J. Agostino, Nayan D'Souza

게시일 2026-03-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Christopher J. Agostino, Nayan D'Souza

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"AI 에이전트 (자동화 로봇) 들을 어떻게 하면 더 안전하고 똑똑하게, 그리고 효율적으로 일하게 할 수 있을까?"**라는 질문에 대한 답을 제시합니다.

저자들은 이 문제를 해결하기 위해 **"ALARA (최소 노출 원칙)"**이라는 방사선 안전 개념을 차용했습니다. 이를 쉽게 비유하자면, **"로봇에게 필요한 최소한의 권한과 정보만 주고, 나머지는 차단하자"**는 철학입니다.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드리겠습니다.

1. 문제: "너무 많은 정보와 권한은 독이 된다"

지금까지 AI 에이전트들을 만들 때, 개발자들은 "너는 이런 일을 해라"라고 긴 메모장 (텍스트 파일) 에 지시사항을 적어주거나, 복잡한 코드 안에 규칙을 숨겨두곤 했습니다.

비유: 마치 초보 운전자에게 "차를 운전할 때 빨간불은 멈추고, 노란불은 서고, 파란불은 가는데... 아, 그리고 옆 차선이 비면 차선 변경도 해"라고 100 페이지 분량의 긴 설명서를 쥐어주는 것과 같습니다.
문제점:
1. 이해 오류: AI 는 이 긴 설명서를 다 읽지 못하거나, 중요한 부분을 놓칠 수 있습니다. (메모리 한계)
2. 보안 위험: AI 가 필요 없는 권한 (예: 은행 계좌 삭제 권한) 까지 가지고 있으면, 해커가 그 권한을 악용할 수 있습니다.
3. 혼란: 권한이 너무 많으면 AI 는 "어떤 버튼을 눌러야 할지" 고민하다가 실수를 저지릅니다.

2. 해결책: "npcsh"와 "CAT" 레이어

저자들은 이 문제를 해결하기 위해 명확한 규칙이 적힌 파일 시스템을 만들었습니다. 이를 CAT (Context-Agent-Tool) 레이어라고 부릅니다.

비유: 레고 블록 조립을 생각해보세요.
- 기존 방식: 레고 상자에 모든 블록을 다 넣고 "이거 조립해"라고 말하면, 아이는 어떤 블록을 쓸지 몰라 헤매거나 엉뚱한 걸로 집을 지을 수 있습니다.
- 이 논문의 방식 (CAT): 필요한 블록 (도구) 만 따로 작은 상자에 담아, **"이 상자에 있는 블록만 써서 집을 지어"**라고 명확하게 줍니다.
- NPC 파일: 각 로봇 (에이전트) 의 역할과 권한을 정의하는 '신분증' 같은 파일입니다.
- Jinx(징스) 파일: 로봇이 실제로 수행하는 '작업 지시서'입니다. 이 파일이 바로 로봇이 사용할 수 있는 '도구 상자'가 됩니다.

이 방식의 가장 큰 장점은 AI 가 "아, 이 도구는 내 상자에 없네? 그럼 못 써."라고 스스로 판단할 수 있다는 점입니다. AI 가 "안 돼, 내 역할이 아니야"라고 생각해서가 아니라, 시스템이 아예 그 도구를 보이지 않게 만들기 때문입니다.

3. 실험 결과: "작은 로봇도 제대로 훈련되면 더 낫다"

저자들은 이 시스템을 이용해 22 가지 다른 AI 모델 (0.6 억 개 파라미터부터 350 억 개까지) 을 테스트했습니다.

크기보다 훈련이 중요하다:
- 비유: **거대한 코끼리 (파라미터가 큰 모델)**가 훈련받지 않았으면, **작은 개미 (파라미터가 작은 모델)**가 훈련을 잘 받았을 때보다 일을 더 잘 못 할 수 있습니다.
- 결과: 40 억 파라미터 크기의 모델이라도 '도구 사용'을 잘 훈련받으면, 270 억 파라미터 크기의 훈련되지 않은 모델보다 훨씬 잘 일했습니다.
할 일의 난이도:
- 쉬운 일: 파일 저장, 검색, 명령어 실행 (로봇이 잘함).
- 어려운 일: 다른 로봇에게 일을 맡기는 것 (Delegation).
- 비유: 로봇에게 "책상 정리해"라고 하면 잘하지만, "너는 서랍 정리하고, 너는 책상 닦아"라고 다른 로봇에게 지시하는 일은 모든 로봇이 가장 어려워했습니다.

4. 중요한 교훈: "실패를 반복하는 것보다 처음부터 잘하는 게 낫다"

재시도 (Retry) 의 한계:
- 어떤 작업은 다시 해보면 잘 되지만 (예: 웹 검색), 어떤 작업은 다시 해보면 오히려 더 망칩니다 (예: 다른 로봇에게 일 맡기기).
- 비유: 미로 찾기를 할 때, 처음에 길을 잘못 들었으면 다시 시작하는 게 낫습니다. 하지만 미로가 너무 복잡해서 이미 헤매다가 지친 상태라면, 다시 들어가는 건 시간 낭비일 뿐입니다.
- 결론: AI 가 실수했을 때 무조건 다시 시키기보다, 어떤 종류의 실수인지에 따라 전략을 바꿔야 합니다.

5. 요약: 이 논문이 우리에게 주는 메시지

권한은 최소한으로: AI 에게 필요한 도구만 주고, 나머지는 아예 보이지 않게 하세요. (보안과 정확도 향상)
규칙은 파일로: AI 가 기억하게 하는 게 아니라, 시스템이 파일로 강제하세요. (명확한 통제)
훈련이 핵심: AI 의 크기 (두뇌) 만 키우는 게 아니라, '일하는 방법'을 훈련시키는 게 더 중요합니다.
작은 팀이 효율적: 모든 일을 한 로봇이 다 하기보다, 역할이 명확하게 나뉜 작은 팀 (서브 팀) 으로 나누는 게 더 잘됩니다.

한 줄 요약:

"AI 로봇에게 모든 권한을 다 주는 건 위험하고 비효율적입니다. 대신 **필요한 도구만 딱 맞게 담아준 '작업 지시서 (파일)'**를 주고, 작은 팀으로 나누어 일하게 하면 훨씬 안전하고 똑똑하게 일할 수 있습니다."

이 연구는 앞으로 우리가 AI 와 함께 일할 때, AI 를 어떻게 '관리'하고 '통제'할 것인가에 대한 새로운 기준을 제시합니다.

1. 문제 정의 (Problem Statement)

현재 대규모 언어 모델 (LLM) 기반의 멀티 에이전트 시스템은 소프트웨어 개발, 연구, 창의적 작업 등 다양한 분야에서 널리 사용되고 있습니다. 그러나 이러한 시스템을 운영하는 인프라 (에이전트 하네스) 에는 다음과 같은 심각한 구조적 문제가 존재합니다.

분산된 행동 명세 (Fragmented Specifications): 에이전트의 행동 범위, 도구 접근 권한, 협업 방식을 정의하는 방식이 산재해 있습니다. 자연어 지침 파일 (.cursorrules, CLAUDE.md 등), 프레임워크 내부 코드 (LangGraph, AutoGen 등), 그리고 개별 에이전트 정의와 분리된 MCP 서버 등 다양한 메커니즘이 혼재되어 있어, 명세를 공유하거나 버전 관리하기 어렵습니다.
해석적 불확실성 (Interpretive Compliance): 자연어 지침은 모델이 이를 '해석'하도록 요구합니다. 그러나 LLM 은 의미 생성이 해석 과정에서 발생하므로, 지침을 반드시 준수한다는 보장이 없습니다. 이는 장기적인 컨텍스트에서 주의가 분산되거나 (attention dilution), 프롬프트 인젝션 공격에 취약해지는 원인이 됩니다.
권한 과다 부여 (Over-Privilege): 에이전트가 수행해야 할 역할에 불필요한 도구에 접근할 수 있게 되면, 보안 취약점이 생기고 도구 호출 정확도가 급격히 떨어집니다 (카탈로그 크기가 커질수록 정확도 저하).
검증 불가능성: 현재 방식은 프로그래밍적으로 검증하기 어렵고, 팀 단위의 협업 유지가 힘듭니다.

2. 방법론 (Methodology)

저자들은 방사선 안전 분야의 **ALARA 원칙 (As Low As Reasonably Achievable, 합리적으로 달성 가능한 최소 수준)**을 에이전트 컨텍스트 관리에 적용하여, 에이전트의 도구 접근과 컨텍스트를 역할에 필요한 최소한으로 제한하는 새로운 아키텍처를 제안했습니다.

A. CAT 데이터 레이어 (Context-Agent-Tool)

에이전트 하네스를 구조적으로 파싱하고 강제할 수 있는 선언적 (declarative) 데이터 레이어를 도입했습니다. 이는 세 가지 상호 연결된 파일 유형으로 구성됩니다.

Context Files (컨텍스트 파일): 팀 수준에서 공유 리소스를 범위 지정하고, 오케스트레이터 (조정자) 와 하위 팀 계층 구조를 정의합니다.
NPC Files (NPC 파일): 개별 에이전트를 정의합니다. 이름, 자연어 지시사항, 모델 사양, 그리고 Jinx 목록을 포함합니다. 이 Jinx 목록이 곧 에이전트의 도구 카탈로그이자 권한 세트 (Permission Set) 역할을 하여, 목록에 없는 도구는 에이전트 스키마에 존재하지 않게 됩니다.
Jinxes (진스): 실행 가능한 YAML 정의 파일입니다. 각 Jinx 는 이름, 자연어 설명, 타입이 지정된 입력값, 그리고 실행 단계 시퀀스 (python, bash, llm, 또는 다른 Jinx 호출) 를 포함합니다. Jinx 는 Jinja 템플릿을 사용하여 실행 시점에 렌더링되며, 도구 호출 스키마는 파일에서 직접 파생됩니다.

B. 핵심 설계 원리

구조적 강제 (Structural Enforcement): 자연어 지침이 아닌 파일 구조를 통해 도구를 제한합니다. 목록에 없는 도구는 모델이 아무리 시도해도 호출할 수 없습니다.
컴포저블 DAG (Composable DAG): Jinx 는 다른 Jinx 를 단계로 호출할 수 있어, 단순한 파일들이 방향성 비순환 그래프 (DAG) 형태의 복잡한 워크플로우를 구성합니다.
** npcsh:** 이 시스템을 실행하기 위한 커맨드 라인 쉘 인터페이스를 제공하며, 대화형 쉘, API 서버, 데스크톱 앱, 브라우저 IDE 등 다양한 인터페이스와 호환됩니다.

3. 주요 기여 (Key Contributions)

ALARA 원칙의 에이전트 적용: 에이전트의 도구 접근을 역할에 필요한 최소한으로 제한하여 보안 (프롬프트 인젝션 방지) 과 성능 (도구 선택 정확도 향상) 을 동시에 개선하는 프레임워크를 제시했습니다.
선언적 CAT 데이터 레이어 및 npcsh: 자연어 의존도를 제거하고 파일 기반의 구조적 제어를 통해 에이전트 행동을 명확히 정의하고 수정 가능한 시스템을 구축했습니다.
광범위한 벤치마크 및 평가: 115 개의 실용적 작업 (파일 조작, 웹 검색, 멀티 스텝 스크립팅, 도구 체이닝, 에이전트 위임 등) 으로 구성된 벤치마크를 개발하고, 22 개의 로컬 호스팅 모델 (0.6B~35B 파라미터) 에 대해 약 2,530 회 실행을 통해 체계적으로 평가했습니다.
오픈 소스 공개: 프레임워크와 벤치마크를 npcsh 프로젝트로 오픈 소스화하여 공개했습니다.

4. 실험 결과 (Results)

22 개의 모델 (Qwen, GLM, Gemma, Mistral, Llama, Phi, OLMo 등) 을 대상으로 한 평가 결과는 다음과 같습니다.

모델 패밀리의 중요성: 파라미터 수의 증가보다는 **모델 패밀리 (Tool-use 훈련 유무)**가 성능에 더 큰 영향을 미쳤습니다. 도구 사용에 훈련된 모델은 4B 파라미터에서, 훈련되지 않은 모델이 27B 파라미터에서도 도달하지 못하는 점수를 기록했습니다.
성능과 일반 지능의 상관관계: MMLU(일반 지능 벤치마크) 점수와 에이전트 성능 사이에는 강한 양의 상관관계 ( $r \approx 0.8$ ) 가 있었으나, 도구 사용 훈련에 따라 편차가 발생했습니다.
도구 호출량의 예측력: 성공적인 에이전트 성능의 가장 강력한 예측 변수는 평균 도구 호출 수 ( $r \approx 0.7$ ) 였으며, 작업 시간이나 재시도 횟수보다 더 중요했습니다.
재시도 (Retry) 의 한계: 성공적인 작업의 약 80% 는 첫 시도에서 완료되었습니다. 재시도의 효과는 작업 카테고리에 따라 크게 달랐습니다 (웹 검색은 +20%p, 위임은 +3%p). 특히 '위임 (Delegation)'과 같은 복잡한 작업에서는 이전 실패의 컨텍스트가 누적되어 오히려 성능을 저하시키는 경우가 많았습니다.
작업 난이도: 파일 조작 및 쉘 작업은 상대적으로 쉽지만, 위임 (Delegation) 과 멀티 스텝 추론이 필요한 작업은 모든 모델에서 가장 어려운 카테고리로 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 멀티 에이전트 시스템의 신뢰성과 보안을 높이기 위해 자연어 기반의 모호한 지침을 선언적 파일 구조로 대체해야 함을 강력하게 주장합니다.

보안 및 신뢰성: 도구 접근을 구조적으로 제한함으로써 프롬프트 인젝션 공격을 근본적으로 차단하고, 에이전트의 행동 예측 가능성을 높입니다.
유지보수성: 파일 기반의 구성은 팀 협업, 버전 관리, 그리고 에이전트 행동의 명확한 수정을 가능하게 하여, 기존 프레임워크의 '검은 상자' 문제를 해결합니다.
실용적 통찰: 에이전트 성능 향상을 위해서는 단순히 모델을 키우는 것보다, 도구 훈련이 잘된 모델을 선택하고, 작업 유형에 맞는 재시도 전략을 수립하며, 권한을 최소화하는 것이 필수적임을 입증했습니다.

결론적으로, npcsh와 CAT 데이터 레이어는 에이전트 개발의 표준을 자연어 해석에서 구조적 실행으로 전환시키는 중요한 이정표가 될 것으로 기대됩니다.