기술 요약: LACUNA: 재귀적 프로그램 홀로서의 안전한 에이전트

문제 제기

현재의 대규모 언어 모델 (LLM) 에이전트는 에이전트 루프를 구동하는 런타임과 모델이 작성하는 코드 사이에 근본적인 아키텍처 분열을 겪고 있습니다. ReAct 와 같은 주류 접근 방식에서는 런타임이 제어 흐름, 컨텍스트 관리, 도구 배분을 소유하는 반면, 모델은 개별 도구 호출이나 추론 단계만 생성합니다. "코드 - 액션 (code-as-action)" 에이전트에서는 모델이 도구와 논리를 구성하기 위해 코드를 작성하지만, 이 코드는 런타임과 여전히 분리되어 있습니다.

이러한 분리는 안전성 딜레마를 초래합니다. 런타임이 루프를 엄격하게 통제하면 에이전트의 표현력이 부족해집니다. 반면, 표현력을 높이기 위해 모델이 런타임 자체를 형성하게 하면 안전성 위험이 증대됩니다. 프롬프트 인젝션, 도구 호출 오류, 또는 부분적 실패로 인해 모델이 이탈할 경우, 환경이 일관되지 않은 상태에 놓이거나 런타임이 침해될 수 있습니다. 기존 방어 수단 (샌드박스, 제한된 인터프리터, 정책 언어) 은 종종 파편화되어 런타임이나 입력에서 작동하며, 실행 시작 전 생성된 전체 액션을 주변 프로그램 컨텍스트와 대비하여 검증하는 방법은 없습니다.

방법론: LACUNA

저자들은 LACUNA를 제안합니다. 이는 정적 타이핑을 통해 안전성을 유지하면서 에이전트 런타임과 모델 작성 코드 간의 분열을 해소하는 프로그래밍 모델입니다. 핵심 원리는 호스트 프로그램 내의 타입이 지정된 "홀 (hole)"입니다:

def agent[T](task: String): T

핵심 메커니즘

1. 타입 지정 홀 (Typed Holes): 에이전트 호출은 주변 프로그램이 정적으로 타입 T 의 값을 기대하는 자리표시자 역할을 합니다. LLM 은 이 값을 생성하는 Scala 코드를 생성하도록 프롬프트됩니다.
2. 컨텍스트 인식 컴파일: 실행이 agent 호출에 도달하면 LLM 은 자연어 task, 기대되는 타입 T, 그리고 실시간 어휘 범위 (해당 지점에서 사용 가능한 변수, 함수, 도구, 임포트) 를 기반으로 코드를 생성합니다.
3. 실행 전 검증: 생성된 코드는 실행되기 전에 주변 프로그램의 컨텍스트에서 호스트 컴파일러 (Scala 3) 에 의해 컴파일됩니다.
   • 타입 검사: 코드는 타입 T 의 값을 생성해야 합니다.
   • 범위 검사: 사용된 모든 이름은 범위 내에 있어야 합니다.
   • 기능 검사: 활성화된 경우, 캡처 검사는 코드가 어휘 범위에서 명시적으로 허용된 리소스 (파일, 네트워크, 도구) 만 접근하도록 보장합니다.
4. 전부 또는 전무 실행: 코드가 모든 검사를 통과하면 실행됩니다. 실패하는 경우 (예: 타입 불일치, 누락된 도구, 권한 없는 접근), 전체 스니펫이 거부됩니다. 부분 실행은 발생하지 않으므로 일관되지 않은 상태를 방지합니다. 컴파일러 진단 결과는 LLM 에게 피드백되어 재시도 루프를 구동합니다.

구현

프로토타입은 Scala 3로 구축되었으며, 두 가지 특정 기능을 활용합니다:

• 프로세스 내 재컴파일: 실행 중인 프로그램 내에서 컴파일러를 호출하여 현재 컨텍스트에 대해 소스 코드 문자열을 삽입하고 컴파일할 수 있는 기능.
• 캡처 검사: 코드 스니펫이 사용할 수 있는 효과와 리소스를 추적하여 기능 기반 보안을 강제하는 메커니즘.

agent 원시 연산은 하위 수준의 eval 연산을 감싸는 얇은 래퍼입니다. 이는 프롬프트 구성 (포함된 소스와 사용 가능한 바인딩 포함) 을 관리하고, LLM 을 호출하며, 결과를 eval 에 전달하고, 컴파일 실패 시 재시도 루프를 처리합니다.

주요 기여

1. 정적 보장을 갖춘 코드 - 액션 모델: LLM 이 자신의 런타임의 일부로 실행되는 코드로 액션을 작성하며, 실행 전 호출 지점에서 검증되는 모델.
2. 안전성 분석: 사용 불가능한 이름과 타입 불일치의 실행 전 거부와 원자적 실행 (부분 실행 없음) 을 결합하여 강력한 안전 보장을 제공함을 입증합니다. 또한 기능 범위 지정이 에이전트의 권한과 정보 흐름을 어떻게 제한하는지 보여줍니다.
3. 일반 제어 흐름을 통한 표현력: 별도의 에이전트 프로토콜 없이 중첩된 에이전트 호출과 표준 코드 구성 요소를 통해 복잡한 에이전트 패턴 (ReAct 루프, 서브 에이전트, 기술, 병렬 분해, 다중 모델 계획) 을 표현할 수 있음을 보여줍니다.
4. 실증 평가: BrowseComp-Plus(고난도 정보 탐색) 및 $\tau^2$-bench(다중 턴 도구 사용 대화) 의 검증자 테스트 사례에서 평가된 Scala 3 구현체.

결과

평가 결과는 안전성, 표현력, 모델 능력 간의 트레이드오프를 강조합니다:

• 안전성과 거부율: BrowseComp-Plus 에서 **8.6%**의 생성물이 타입 또는 범위 오류로 인해 실행 전에 거부되었습니다. 시스템은 쿼리당 평균 0.7 회의 재시도를 거쳤으며, 종단간 컴파일 성공률은 91.4% 였습니다. 이는 컴파일러가 잘못 타이핑되거나 범위 밖의 동작을 효과적으로 차단함을 확인시켜 줍니다.
• 복잡한 작업 수행 능력:
  • BrowseComp-Plus: deepseek-flash 모델을 사용하여 LACUNA 는 **27.1%**의 정확도를 달성했는데, 이는 기준 에이전트와 비슷하며 진정한 다단계 연구 (평균 5.9 라운드, 15.5 회 검색) 를 수행했습니다.
  • $\tau^2$-bench: 4 개 도메인 (소매, 항공사, 통신, Tel.-WF) 의 392 개 작업에서 LACUNA 는 유능한 모델로 **76.0%**의 작업을 해결하여 참조 도구 호출 에이전트와 동등한 성능을 발휘했습니다.
• 모델 의존성: 시스템의 성공은 모델의 코딩 능력에 크게 의존합니다. 약한 모델 (예: gemini-3.1-flash-lite) 은 복잡한 도메인 (예: 통신 분야에서 89% 거부율) 에서 어려움을 겪어 해결률이 낮아졌습니다. 안전 보장은 모델의 능력과 무관하게 유지됩니다 (실패한 시도는 실행되지 않음), 하지만 모델이 유효한 코드를 생성하지 못하면 진행이 중단됩니다.
• 적대적 견고성: 프롬프트 인젝션 테스트 (AgentDojo) 에서 기능 계층은 에이전트의 동작을 허용된 범위로 성공적으로 제한했습니다. 인젝션된 콘텐츠의 영향을 받았음에도 불구하고, 에이전트는 어휘 범위 밖의 리소스에 접근할 수 없었습니다.

중요성과 주장

이 논문은 LACUNA 를 기존 에이전트 아키텍처의 대체제가 아닌, 더 안전하고 유연한 기반으로 위치시킵니다.

• 실행과 추론의 통합: 프로그램 실행과 모델 추론을 모델이 제어 흐름을 작성하는 단일 프로세스로 융합함으로써, LACUNA 는 에이전트가 더 표현력 있게 되면서도 호스트 언어의 안전 보장을 유지할 수 있게 합니다.
• 컴파일을 통한 안전성: 주요 기여는 샌드박스 런타임에서 실행 전 정적 검증으로 안전성을 전환하는 것입니다. 거부된 스니펫은 환경을 변경하지 않으며, 컴파일러의 진단 결과가 자기 수정을 구동합니다.
• 기능 안전성: 이 시스템은 "최소 권한" 원칙이 어휘 범위 지정과 캡처 검사를 통해 강제될 수 있음을 보여주며, 프롬프트 인젝션의 영향을 받더라도 적대적이거나 오류가 있는 모델이 무엇을 할 수 있는지를 제한합니다.
• 약간의 한계: 저자들은 "잘 타이핑된" 것이 "올바른" 것을 의미하지는 않는다 (의미론적 오류는 포착되지 않음), 시스템이 모델의 코딩 숙련도에 의존한다는 점 (언어와 도메인에 따라 다름), 그리고 리소스 고갈 (지연 시간, 무한 재귀) 은 타입 시스템이 아닌 런타임 예산을 통해 관리되어야 함을 인정합니다.

요약하자면, LACUNA 는 에이전트 액션을 정적 타입이 지정된 호스트 언어의 타입 지정 홀로 취급함으로써, 안전성이 런타임 휴리스틱이 아닌 컴파일러의 건전성에 의해 보장되는 재귀적이고 표현력 있는 에이전트 설계를 가능하게 한다고 주장합니다.