원저자: Geert Trooskens (XY.AI Labs, Palo Alto, CA), Aaron Karlsberg (XY.AI Labs, Palo Alto, CA), Anmol Sharma (XY.AI Labs, Palo Alto, CA), Lamara De Brouwer (XY.AI Labs, Palo Alto, CA), Max Van Puyvelde (Stanford University School of Medicine, Stanford, CA), Matthew Young (XY.AI Labs, Palo Alto, CA), John Thickstun (Cornell University, Ithaca, NY), Gil Alterovitz (Brigham and Women's Hospital / Harvard Medical School, Boston, MA), Walter A. De Brouwer (Stanford University School of Medicine, Stanford, CA)
검수: 이 레시피가 안전하고, 재료가 정확한지, 불이 너무 세지 않은지 엄격한 검수를 거칩니다.
실행: 이제부터는 요리사가 필요 없습니다. **레시피 책 (컴파일된 코드)**만 있으면, 로봇 팔이 그 레시피대로 매번 똑같이, 순간적으로 파스타를 만들어냅니다.
결과: 100 번을 만들어도 맛이 100% 똑같고, 요리사 (AI) 를 부르는 비용이 들지 않아 비용이 거의 0 원에 가깝습니다.
🏥 왜 이것이 의료나 기업에 중요할까요?
이 논문은 특히 **병원 (의료)**이나 은행 같은 곳에서 이 방식이 왜 필요한지 강조합니다.
안전과 책임 (Auditability): 병원에서 "환자에게 이 약을 처방해도 될까?"라고 AI 가 매번 생각하면, 그 결과가 매번 다를 수 있어 위험합니다. 하지만 "컴파일된 AI"는 처음에 규칙을 코드화해버립니다. "환자 A 에게는 약 X 를 주고, 환자 B 에게는 약 Y 를 준다"는 규칙이 코드에 딱 박히면, 나중에 누가 봐도 "왜 이런 결정을 내렸는지" 100% 명확하게 추적할 수 있습니다.
비용 절감: 병원에서는 하루에 수천 건의 청구서 처리나 보험 승인 작업을 합니다. 매번 AI 에게 물어보면 돈이 너무 많이 듭니다. 하지만 한 번만 코드를 짜고 나면, 그 후로는 돈 한 푼 들지 않고 기계처럼 처리할 수 있습니다.
🛠️ 이 시스템은 어떻게 작동하나요? (4 단계 공장)
이 논문에서는 이 시스템을 **"코드 공장 (Code Factory)"**이라고 부릅니다.
디자인 (요청): 사람이 "이런 업무를 처리해줘"라고 YAML(간단한 설정 파일) 로 요청합니다.
생산 (한 번의 생각): AI 가 그 요청을 보고, 미리 검증된 **레시피 (코드)**를 한 번만 작성합니다. (이때만 AI 가 생각합니다.)
검수 (안전 검사): 만들어진 레시피가 안전한지, 문법이 맞는지, 결과가 정확한지 4 단계의 엄격한 검사를 거칩니다.
해킹 위험은 없는가?
문법 오류는 없는가?
실제 실행해봤을 때 잘 돌아가는가?
결과가 정확한가?
출고 (실행): 검수를 통과한 레시피는 완벽한 기계가 되어, 이후에는 AI 없이도 수천 번, 수만 번의 작업을 실수 없이 처리합니다.
📊 실제 결과는 어땠나요?
논문의 실험 결과를 보면 놀라운 차이가 있습니다.
비용: 1,000 건의 작업을 처리할 때, 기존 AI 방식보다 57 배 더 저렴했습니다. (100 만 건 처리 시에는 40 배 차이!)
속도: 기존 방식은 한 번 처리하는 데 2 초가 걸렸다면, 이 방식은 0.004 초 만에 처리했습니다. (약 450 배 빠름)
정확도: 같은 작업을 1,000 번 반복해도 결과가 100% 똑같았습니다. (기존 AI 는 같은 질문을 해도 답이 조금씩 달라질 수 있음)
보안: 해킹 시도나 잘못된 명령을 넣어도, 사전에 코드 검사를 거쳤기 때문에 해킹이 불가능에 가깝게 막았습니다.
💡 결론: 언제 쓸까요?
이 논문은 **"모든 것을 AI 가 매번 생각하게 할 필요는 없다"**고 말합니다.
컴파일된 AI 가 좋은 경우: 규칙이 명확하고, 반복적인 업무 (보험 청구, 문서 처리, 데이터 정리) 가 많을 때. 정확성과 비용이 중요할 때.
기존 AI 가 필요한 경우: 창의적인 글쓰기나, 예측 불가능한 새로운 상황에 대처할 때.
한 줄 요약:
"AI 를 매번 부려서 일하게 하는 게 아니라, 한 번만 똑똑하게 설계해서 그 설계도대로 기계가 영원히 일하게 만드는 것이 바로 '컴파일된 AI'입니다. 이는 의료나 금융처럼 실수가 허용되지 않는 분야에서 혁명을 일으킬 것입니다."
1. 문제 정의 (Problem)
대규모 언어 모델 (LLM) 을 기반으로 한 자율 에이전트 (Agent) 시스템이 기업 워크플로우 자동화에 도입되면서 다음과 같은 심각한 한계점이 드러났습니다.
비결정성 (Non-determinism): LLM 은 실행 시마다 다른 출력을 생성할 수 있으며, 이는 의료나 금융과 같이 정확성과 감사 추적 (Auditability) 이 필수적인 분야에서 치명적입니다.
높은 비용과 지연 시간: 매 거래 (Transaction) 마다 LLM 을 호출해야 하므로 토큰 소비량이 기하급수적으로 증가하고, 응답 지연 (Latency) 이 발생합니다.
신뢰성 부족: Salesforce 의 벤치마크에 따르면, 다중 턴 상호작용에서 에이전트의 성공률은 35% 로 떨어지며, 실패의 79% 는 인프라가 아닌 명세 및 조정 문제에서 발생합니다.
보안 취약점: 매 거래마다 LLM 이 실행되면 프롬프트 인젝션 (Prompt Injection) 등의 공격 표면이 지속적으로 노출됩니다.
2. 방법론 (Methodology)
이 논문은 "Compiled AI(컴파일된 AI)" 라는 새로운 패러다임을 제안합니다. 이는 LLM 을 실행 시의 '해석기 (Interpreter)'가 아닌, 설계 시의 '컴파일러'로 사용하는 접근법입니다.
핵심 아키텍처
한 번의 LLM 호출 (One-time Invocation): LLM 은 워크플로우를 설계하고 비즈니스 로직을 코드로 생성하는 단계 (컴파일 단계) 에서 한 번만 실행됩니다.
제로 토큰 결정적 실행 (Zero-token Deterministic Execution): 생성된 코드는 검증된 템플릿에 맞춰져 정적 코드 (Static Code) 로 배포됩니다. 이후 실제 거래 처리 시에는 추가적인 LLM 호출 없이 기존 코드가 실행되므로 토큰 비용이 0 이고, 결과가 100% 결정적입니다.
4 단계 검증 파이프라인: 생성된 코드는 배포 전 다음 4 단계를 통과해야 합니다.
보안 (Security): 정적 분석 (Static Analysis) 을 통해 SQL 인젝션, 명령어 주입, 비밀 정보 노출 등을 차단.
구문 (Syntax): AST 파싱, 타입 체크, 린팅.
실행 (Execution): 샌드박스 환경에서 테스트 데이터로 실행 성공 여부 확인.
정확도 (Accuracy): 골드 데이터셋과 비교하여 출력 정확도 검증.
Code Factory (코드 공장): 복잡한 의미론적 입력 (예: 불규칙한 의료 문서) 의 경우, 순수 결정적 코드로 해결이 불가능할 때, 제한된 범위의 LLM 호출을 코드로 감싸서 실행하는 하이브리드 방식을 지원합니다.
3. 주요 기여 (Key Contributions)
시스템 아키텍처 제안: 제약된 비즈니스 로직 함수를 생성하는 LLM 기반 코드 생성 아키텍처를 설계했습니다.
생성 및 검증 파이프라인: 확률적 모델 출력을 생산 준비가 된 정적 코드 아티팩트로 변환하는 4 단계 파이프라인을 구현했습니다.
운영 지표 평가 프레임워크: 단순 정확도뿐만 아니라 토큰 상각 (Amortization), 결정성, 신뢰성, 보안, 비용 효율성 등 실제 기업 배포에 필요한 운영 지표를 정립하고 평가했습니다.
의료 및 규제 준수 중심 연구: HIPAA 및 CMS 규정과 같은 높은 신뢰성이 요구되는 의료 환경에서의 적용 가능성을 입증했습니다.
4. 실험 결과 (Results)
두 가지 태스크 (함수 호출, 문서 지능) 에 대해 기존 에이전트 (LangChain, AutoGen) 및 직접 LLM 호출 방식과 비교 평가했습니다.
태스크 1: 함수 호출 (BFCL, 400 개 인스턴스)
토큰 효율성: 컴파일 비용은 9,600 토큰 (일회성) 이며, 실행 시 추가 토큰은 0 입니다. Direct LLM 대비 1,000 건 거래 시 57 배, AutoGen 대비 84 배의 토큰 절감 효과를 보였습니다.
손익분기점: 약 17 건의 거래에서 Direct LLM 과 비용이 균형을 이루며, 그 이후로는 Compiled AI 가 압도적으로 저렴합니다.
지연 시간: P50 지연 시간이 4.5ms로, Direct LLM(2,004ms) 대비 450 배 빨랐습니다.
신뢰성: 컴파일된 워크플로우의 실행 성공률은 **100%**이며, 출력 엔트로피는 0 (완전 결정적) 입니다.
태스크 2: 문서 지능 (DocILE, 5,680 개 송장)
정확도: "Code Factory" 변형 모델은 Direct LLM 과 동등한 핵심 정보 추출 정확도 (KILE: 80.0%) 를 달성하면서도, 항목 인식 정확도 (LIR: 80.4%) 에서 가장 높은 성능을 보였습니다.
성능: Direct LLM 대비 2.3 배 낮은 지연 시간을 기록했습니다.
보안: 135 개 테스트 케이스에서 프롬프트 인젝션 탐지 정확도 96.7%, 정적 코드 안전성 분석 정확도 **87.5%**를 달성하며 거짓 양성 (False Positive) 이 0 이었습니다.
5. 의의 및 결론 (Significance & Conclusion)
규제 준수 및 감사 가능성: 의료 (HIPAA), 금융 등 규제 환경에서 모든 결정이 특정 코드 줄로 추적 가능하여 감사 준비 (Audit Readiness) 와 규정 준수를 보장합니다.
경제적 타당성: 토큰 비용이 감소하더라도 거래량이 급증하는 기업 환경에서, "한 번 컴파일하여 여러 번 실행 (Compile-once, Run-many)"하는 방식은 운영 비용 (TCO) 을 획기적으로 줄이는 필수적인 아키텍처가 될 것입니다.
패러다임 전환: LLM 을 매번 호출하는 '해석기' 방식에서, 검증된 코드를 생성하는 '컴파일러' 방식으로의 전환은 신뢰성, 비용 효율성, 보안을 동시에 해결하는 실용적인 솔루션을 제시합니다.
결론적으로, Compiled AI 는 구조화되고 고빈도로 실행되는 기업 워크플로우 (특히 의료 행정, 청구, 사전 승인 등) 에 있어 LLM 의 유연성을 희생하더라도 결정성, 감사 추적성, 비용 효율성을 확보하는 최적의 설계 패턴임을 입증했습니다.