NormCode Canvas: Making LLM Agentic Workflows Development Sustainable via Case-Based Reasoning

논문 요약: NormCode Canvas - 사례 기반 추론 (CBR) 을 통한 LLM 에이전트 워크플로우 개발의 지속 가능성 확보

이 논문은 Xin Guan, Yunshan Li, Ze Wang 등이 제안한 NormCode Canvas (v1.1.3) 시스템을 소개합니다. 이 시스템은 다단계 LLM 워크플로우 개발의 지속 가능성을 높이기 위해 이중 계층 (Two-level) 사례 기반 추론 (Case-Based Reasoning, CBR) 아키텍처를 구현한 배포된 시스템입니다.

1. 문제 제기 (Problem)

기존의 LLM 워크플로우 프레임워크 (LangChain, LangGraph, AutoGen 등) 는 워크플로우 구축을 용이하게 하지만, 다음과 같은 근본적인 한계를 가지고 있습니다:

• 비자명한 공유 상태 (Implicit Shared State): 대화 기록, 가변 객체, 프레임워크 제어 로직을 통해 상태가 전달되므로, 중간 체크포인트가 이전 컨텍스트에 의존하게 됩니다.
• 디버깅 및 복구의 어려움: 실패 시 원인을 특정하기 어렵고 (비국소화), 체크포인트에서 재실행할 때 이전 컨텍스트가 누락되거나 왜곡되어 의도치 않은 동작이 발생할 수 있습니다.
• 검증 불가능성: 계획 (Plan), 중간 의미론, 유효한 계속 실행 조건이 코드와 프롬프트에 분산되어 있어 단일 해석 가능한 형태로 inspect(검사) 하거나 수정하기 어렵습니다.

2. 방법론 (Methodology)

이 문제는 NormCode라는 반형식적 (semi-formal) 계획 언어와 이를 기반으로 한 NormCode Canvas 시스템을 통해 해결합니다. 핵심은 **범위 규칙 (Scope Rule)**을 통해 모든 실행 체크포인트가 완전히 독립된 사례 (Self-contained Case) 가 되도록 보장하는 것입니다.

2.1 NormCode 언어의 핵심 특성

• 구조적 격리 (Structural Isolation): 각 단계는 명시적으로 선언된 범위 블록 내의 데이터만 접근할 수 있습니다. 암묵적인 컨텍스트 공유가 차단됩니다.
• 6 가지 속성: 해석 가능성 (Interpretable), 강제성 (Enforceable), 구성 가능성 (Composable), 지역 주소 지정 가능 (Locally Addressable), 일반화 가능 (Generalizable), 이식성 (Portable).
• 3 가지 마커: <- (값), <= (기능), <* (컨텍스트/루프) 를 사용하여 복잡한 워크플로우를 정의합니다.

2.2 이중 계층 CBR 아키텍처

시스템은 두 가지 수준의 CBR 을 지원합니다:

1. Level 1 (구체적 사례 관리):
   • 정의: 특정 흐름 인덱스 (flow index) 에서 일시 정지된 런타임 (Suspended Runtime) 을 사례로 간주합니다.
   • 기능:
     • 검색/재사용 (Fork): 과거의 성공적인 체크포인트를 불러와 새로운 실행의 시작점으로 사용합니다.
     • 수정 (Value Override + Selective Re-run): 특정 텐서 값을 수정하면, 데이터 의존성 그래프에 따라 하위 노드만 자동으로 'stale(구식)'로 표시되어 재실행됩니다. 상류 노드는 재실행되지 않습니다.
     • 유지 (Retain): 모든 완료된 노드가 자동으로 사례베이스에 저장됩니다.
2. Level 2 (추상적 사례 학습):
   • 정의: 실행 가능한 계획 (NormCode Plan) 자체를 추상 사례로 간주합니다.
   • 기능: 워크플로우 패턴을 재사용하고, 계획 자체를 수정하여 컴파일 파이프라인을 개선합니다.
   • 재귀적 구조: 컴파일 파이프라인 (NC Compilations) 자체도 하나의 NormCode 계획 (Level 2 사례) 으로 구현되어, 계획이 계획을 생성하고 수정하는 자기 지속적 생태계를 형성합니다.

2.3 3 가지 구조적 능력 (Structural Capabilities)

• (C1) 직접 체크포인트 검사: 범위 규칙으로 인해 각 단계의 입력이 명확하게 제한되므로, 로그 재구성이 필요 없이 정확한 입력 데이터를 즉시 확인할 수 있습니다.
• (C2) 실행 전 구조 검토: 컴파일러가 생성한 자연어 서술 (.ncn) 을 통해 LLM 호출 전에 계획의 논리를 인간이 검증할 수 있습니다.
• (C3) 범위 제한 선택적 재실행: 수정된 단계에 의존하는 하위 노드만 재실행되므로 효율적인 디버깅이 가능합니다.

3. 주요 기여 (Key Contributions)

1. 이중 계층 CBR 프레임워크: LLM 워크플로우 개발을 '구체적 런타임 사례 (Level 1)'와 '추상적 실행 계획 사례 (Level 2)'로 나누어 체계화했습니다.
2. 실용적 워크플로우 언어 (NormCode): 6 가지 핵심 속성을 만족하며, 인간이 읽을 수 있고 기계가 실행하며 구조적으로 강제되는 언어를 설계했습니다.
3. 배포된 시스템 (NormCode Canvas): C1-C3 능력을 실현하는 통합 환경 (Canvas) 을 제공하며, 그래프 캔버스, 상세 패널, 추적 인터페이스 등을 포함합니다.
4. 생태계 증거: 4 가지 배포된 계획 (PPT 생성, 코드 어시스턴트, NC 컴파일, 캔버스 어시스턴트) 을 통해 시스템이 계획 생성, 디버깅, 정제 과정을 자동화하며 누적 학습이 가능함을 입증했습니다.

4. 결과 및 사례 연구 (Results & Case Studies)

논문의 주장 (검열 가능성, 수정 가능성, 제한된 재실행) 을 뒷받침하는 4 가지 실제 배포 사례가 제시되었습니다:

• PPT Generation: 슬라이드당 약 40 초 소요. 노드의 60-70% 가 LLM 호출 없이 결정론적 데이터 조작 (구문적 노드) 으로 이루어져 효율적입니다.
• Code Assistant: ReAct 패턴을 기반으로 한 소프트웨어 엔지니어링 워크플로우. 10 단계 이상의 추론 사이클을 수행하며, 각 단계의 입력/출력이 명확히 격리되어 디버깅이 용이합니다.
• NC Compilations: 자연어 명세를 실행 가능한 NormCode 계획으로 변환하는 자체 컴파일러.
• Canvas Assistant: 외부 AI 코드 에디터 (Cursor 등) 와 연동하여 계획 디버깅을 자동화합니다.

이들 계획은 서로를 생성하고 디버깅하며 개선하는 자기 지속적 생태계를 형성합니다.

5. 의의 및 결론 (Significance)

• 워크플로우 개발의 지속 가능성: 기존 프레임워크가 가진 '상태 누수' 문제를 구조적 격리로 해결하여, 워크플로우의 신뢰성, 재현성, 유지보수성을 근본적으로 향상시킵니다.
• 누적 학습의 실현: 단순한 LLM 성능 향상이 아닌, 시스템 전체가 경험을 축적하여 계획 (Level 2) 과 실행 사례 (Level 1) 를 동시에 개선하는 메커니즘을 제공합니다.
• 새로운 패러다임: LLM 에이전트 개발을 '코드 작성'이 아닌 '구조적으로 검증 가능한 계획 수립'의 영역으로 이동시킵니다.

결론적으로, NormCode Canvas 는 LLM 에이전트 워크플로우의 복잡성과 불확실성을 관리할 수 있는 구조적으로 견고한 인프라를 제공하며, 이는 대규모 LLM 애플리케이션의 실용적 배포에 중요한 기여를 합니다.