기술 요약: ComfyUI의 워크플로우 생성을 위한 지식 중심 에이전트

문제 정의

ComfyUI와 같은 시각적 생성 시스템에서 워크플로우를 생성하는 것은 단순한 텍스트-JSON 변환을 넘어서는 과제를 안겨줍니다. ComfyUI 워크플로우는 노드가 기능적 모듈이고 엣지가 데이터 의존성을 정의하는, JSON 설정으로 표현된 유향 비순환 그래프(DAG)입니다. 대규모 언어 모델(LLM)이 이 작업에 적용되어 왔으나, 기존 방식은 다음과 같은 두 가지 주요 한계로 인해 실패하는 경우가 많습니다:

1. 구조적 취약성(Structural Brittleness): 텍스트로부터 JSON 설정을 직접 생성하는 것은 구문 오류, 연결 오류, 일관되지 않은 파라미터 바인딩을 초래하기 쉬우며, 이는 실행 실패로 이어집니다.
2. 경험적 지식의 부재(Lack of Experiential Knowledge): 효과적인 워크플로우 설계에는 세그멘테이션, 브랜칭, 모듈 간 상호작용에 대한 휴리스틱한 결정과 같은 전문가 수준의 추론이 필요합니다. 현재의 LLM은 텍스트 데이터만으로는 이러한 암묵적이고 경험 기반의 지식을 습득하는 데 어려움을 겪으며, 결과적으로 일관성이 없거나 복잡한 작업 요구사항을 충족하지 못하는 워크플로우를 생성하곤 합니다.

기존 방법들은 제약된 메타 노드(표현력을 제한함)에 의존하거나, 지식을 모델 파라미터 내에 암묵적으로 얽힌 상태로 취급하여(해석이나 재사용을 어렵게 만듦) 문제를 해결하려 합니다.

방법론

저자들은 워크플로우 생성을 단순한 적응형 패턴 매칭이 아니라, 명시적이고 계층적인 지식을 통한 추론 과정으로 다루는 지식 중심 프레임워크를 제안합니다. 이 프레임워크는 세 가지 핵심 단계를 통해 작동합니다.

1. 지식 역전 (Knowledge Inversion)

시스템은 먼저 대규모의 주석이 없는 가공되지 않은 ComfyUI 워크플로우 집합으로부터 계층적 지식 표현을 추출합니다. 이 과정은 워크플ow 데이터를 아래에서 위로 향하는 방식으로 역전시킵니다:

• 원시 워크플로우에서 전체 의사코드(Full Pseudo-code)로: 규칙 기반 정규화는 JSON 그래프를 기계가 읽을 수 있는 의사코드로 변환하며, 이때 토폴로지와 파라미터는 보존하면서 구문적 노이즈는 제거합니다.
• 전체에서 스켈레톤 의사코드(Skeleton Pseudo-code)로: LLM은 특정 파라미터 바인딩과 수치 값을 추상화하고, 필수적인 그래프 구조와 실행 흐름만을 유지합니다.
• 스켈레톤에서 전략적 추론(Strategy Reasoning)으로: LLM은 워크플로우의 구조 뒤에 숨겨진 "추론 흔적(reasoning traces)"을 유추하기 위해 의미론적 해석을 수행합니다 (예: 왜 특정 컨트롤이 융합되었는지, 또는 왜 디노이징 후에 페이스 디테일러가 배치되었는지 등).
• 추론에서 고수준 전략(High-Level Strategy)으로: 이러한 흔적들은 전문가의 고수준 처리 계획을 나타내는 간결한 전략 설명으로 요약됩니다.
• 전략에서 작업 지시(Task Instruction)로: 시스템은 해당 워크플로우를 생성했을 가능성이 높은 원래의 사용자 작업 지시와 입력 사양을 추론하여, 자연어 감독 신호를 생성합니다.

2. 지식 주입 (Knowledge Injection)

추출된 지식은 **지도 미세 조정(Supervised Fine-Tuning, SFT)**을 통해 언어 모델(특히 Qwen3-14B)에 주입됩니다. 저자들은 명시적인 지식 주입이 필요한 특정 전이 과정을 식별했습니다:

• 작업 $\to$ 전략: 사용자의 지시 사항을 고수준의 처리 계획으로 분해하고 적절한 모듈을 선택하도록 모델을 교육합니다.
• 전략 $\to$ 스켈레톤 의사코드: 추상적인 전략을 실행 가능한 구조적 스켈레톤으로 번역하도록 모델을 훈련합니다.
• 참고: 스켈레톤에서 전체 의사코드(파라미터 복원)로의 전이는 SFT가 아닌 규칙 기반 확장 또는 경량 프롬프팅을 통해 처리됩니다.
  또한, 전문가의 담론과 논리적 구조의 학습을 정규화하기 위해 중간 추론 흔적을 생성하도록 훈련하는 보조 목적 함수가 포함됩니다.

3. 지식 추론 (Knowledge Inference)

추론 단계에서는 역전 과정을 거꾸로 수행합니다:

1. 고수준 전략 플래너: SFT로 훈련된 모델이 사용자의 작업 지시로부터 고수준 전략을 생성합니다.
2. 의사코드 생성기: 전략은 스켈레톤 의사코드로 변환됩니다.
3. 파라미터 채우기: 사전 훈련된 모델이 문맥에 따라 특정 파라미터와 바인딩을 채웁니다.
4. 규칙 기반 재구성: 전체 의사코드는 실행 가능한 ComfyUI JSON 워크플로우로 변환됩니다.
   강건성을 높이기 위해 전략 계획 및 의사코드 생성 후에 자기 개선(self-refinement) 메커니즘을 적용하여, 모델이 구조적 불일치를 재평가하고 수정할 수 있도록 합니다.

주요 기여

• 지식 중심 패러다임: 본 논문은 직접적인 생성에서 전문가 지식 자체의 구조, 계층, 역동성을 모델링하는 것으로 초점을 전환합니다.
• 지식 역전: 주석이 없는 원시 워크플ow 데이터로부터 (전략, 추론 흔적, 스켈레톤과 같은) 계층적 표현을 추출하는 새로운 방법을 제시합니다.
• 계층적 추론: 생성 작업을 다단계 감독 신호(작업 $\to$ 전략 $\to$ 스켈레톤 $\to$ 전체)로 분해하여, 모델이 설계 원칙을 명시적으로 포착할 수 있게 합니다.
• 가역적 추론 및 자기 개선: 추론 과정은 역전 과정을 거울처럼 반영하며, 구조적 일관성을 보장하기 위해 반복적인 자기 수정을 통해 강화됩니다.

실험 결과

본 방법론은 912개의 고품질 워크플로우(학습용 882개, 테스트용 30개)로 구성된 큐레이션된 데이터셋과 외부 벤치마크(FlowBench 및 ComfyBench)에서 평가되었습니다.

• 구조적 다양성 및 완결성: 제안된 방법은 유효 노드 다양성(Valid Node Diversity, VND) 점수 152를 달성하여 가장 강력한 베이스라인(42)을 크게 앞질렀습니다. 또한 더 높은 노드 완결성(96.3% vs. 56.7%)과 링크 완결성(98.3% vs. 56.7%)을 달성했습니다.
• 작업 일관성: 이 방법은 ComfyAgent(55.1%) 대비 86.9%의 작업 일관성 점수를 기록했습니다.
• 실행 성공률: 테스트 세트에서 이 방법은 86.9%의 통과율(Pass rate)(오류 없는 성공적 실행)과 61.1%의 해결률(Resolve rate)(작업을 충족하는 성공적 실행)을 달성했으며, 이는 ComfyAgent의 각각 36.4%와 29.4%와 대조됩니다.
• 일반화 능력: 이 방법은 "실제 사례(Real-World Cases, 유사한 학습 샘로가 없는 작업)" 및 외부 벤치마크에서도 우수한 성능을 유지하여 강력한 일반화 능력을 입증했습니다.
• 어블레이션(Ablation) 연구: 14B 모델을 사용한 계층적 접근 방식이 더 큰 32B 모델을 사용한 엔드 투 엔드 Q2P(Question-to-Pseudo-code) 베이스라인보다 우수한 성능을 보였으며, 이는 다단계 감독 전략의 효용성을 입증합니다.

의의 및 주장

본 논문은 지식 기반, 에이전트형 워크플로우 생성을 위한 새로운 토대를 구축한다고 주장합니다. 전문가 지식을 명시적으로 모델링하고 역전함으로써, 이 프레임워크는 워크플로우 생성을 취약한 텍스트 생성 문제에서 원칙 있는 추론 과정으로 변모시킵니다. 저자들은 이 접근 방식이 제약된 템플릿 기반 시스템과 불투명한 데이터 기반 LLM의 한계를 극적으로 극복하여, 에이전트가 전문가 수준의 신뢰성과 구조적 일관성을 가지고 복잡한 시각적 파이프라인을 구성할 수 있게 한다고 주장합니다. 이 연구는 향arian 시각적 창작을 위한 미래의 에이전트 시스템이 단순한 패턴 완성을 넘어 도메인 지식의 명시적 표현과 역전에 우선순위를 두어야 함을 시사합니다.