기술 요약: Program-as-Weights (PAW)

1. 문제 정의

많은 실제 프로그래밍 작업들은 정밀한 규칙 기반 구현에 저항합니다. 로그 라인의 긴급도를 필터링하거나, 잘못된 형식의 JSON을 복구하거나, 의도에 따라 검색 결과의 순위를 매기는 것과 같은 이러한 "퍼지 함수(fuzzy functions)"는 인간에게는 직관적이지만, 노이즈, 오타, 예외 케이스로 인해 명확한 기호 규칙(예: 정규 표현식)으로 구현하기에는 취약합니다.

현재 개발자들은 이러한 작업을 위해 대규모 언어 모델(LLM) API에 외주를 주고 있습니다. 이 방식은 편리하지만, 높은 비용을 발생시키고, 지연 시간을 유발하며, 재현성을 저해하고(제공업체의 조용한 모델 업데이트로 인해), 소프트웨어가 독립적으로 존재하는 것을 방지합니다. 본 논문은 LLM의 유연성을 유지하면서도 로컬에서 실행 가능하고, 재현 가능하며, 비용 효율적인 실행을 가능하게 하는 패러다임의 필요성을 제기합니다.

2. 방법론: Program-as-Weights (PAW)

저자들은 퍼지 함수가 자연어 명세로부터 압축되고 로컬에서 실행 가능한 신경 아티팩트(neural artifact)로 컴파일되는 패러다임인 **Program-as-Weights (PAW)**를 제안합니다. 이 시스템은 명세를 이해하는 "무거운 작업"과 함수를 실행하는 "일상적인 작업"을 분리합니다.

핵심 아키텍처

PAW 파이프라인은 세 가지 주요 구성 요소로 이루어집니다:

1. 컴파일러 (The Compiler): 사용자 명세($s$)를 프로그램($p$)으로 매핑하는 신경 모델입니다.
2. 프로그램 ($p$): 다음을 포함하는 하이브리드 아티팩트입니다:
   • 이산적 구성 요소 ($p_{discrete}$): 자연어로 된 "의사 프로그램(pseudo-program)"(작업의 재진술 및 대표적인 입출력 예시 포함). 이는 원래 명세의 모호함이나 오타로부터 인터프리터를 보호합니다.
   • 연속적 구성 요소 ($p_{continuous}$): 특정 작업을 위해 동결된 인터프리터를 재조정하는 매개변수 효율적 미세 조정(PEFT) 모듈(구체적으로 LoRA 또는 prefix-tuning KV cache).
3. 인터프리터 (The Interpreter): 프로그램을 실행하는 작고 동결된 언어 모델(예: Qwen3-0.6B)입니다. 이 모델은 PEFT 모듈과 의사 프로그램을 로드하여 사용자 입력을 처리하고 출력을 자기회귀적으로 생성합니다.

컴파일 파이프라인

컴파일 과정은 4B Qwen3 모델을 활용하는 두 단계로 진행됩니다:

1. 의사-컴파일러 ($C_p$): 작업 재작성 템플릿으로 프롬프트된, 훈련되지 않은 기성 모델입니다. 이는 원본 사용자 명세를 명확한 작업 설명과 퓨샷(few-shot) 예시를 포함하는 깨끗한 의사 프로그램으로 변환합니다.
2. PEFT 컴파일러 ($C_{PEFT}$): 명세와 의사 프로그램을 입력으로 받는 (현재 최적의 인스턴스에서는 LoRA 컴파일러) 훈련된 모델입니다. 이 모델은 자신의 은닉 상태를 **LoRA 매퍼(LoRA mapper)**를 통해 매핑함으로써 연속적인 PEFT 가중치(Lo de LoRA 행렬)를 방출합니다.
   • 매퍼는 컴파일러의 특정 레이어로부터 은닉 상태를 수집하고, 풀링(pooling)한 뒤, 혼합 계수로 투영합니다. 이 계수들은 공유된 학습 가능한 기저(learnable bases) 위에서 LoRA 행렬($A, B$)을 구성하며, 함수당 약 38.5M 개의 파라미터를 인터프리터에 주입합니다.

훈련

PEFT 컴파일러와 LoRA 매퍼만 훈련됩니다. 의사-컴파일러와 인터프리터는 동결된 상태로 유지됩니다. 훈련 목표는 동결된 인터프리터, 생성된 의사 프로그램, 그리고 생성된 LoRA 가중치가 주어졌을 때 타겟 출력의 가능성(likelihood)을 최대화하는 것입니다. 이는 FuzzyBench 데이터셋을 사용하는 단일 지도 학습 목적 함수를 따릅니다.

3. 주요 기여

FuzzyBench 데이터셋

저자들은 PAW 스타일의 방법을 훈련하기 위해 설계된 1,000만 개의 예시를 가진 FuzzyBench를 공개합니다.

• 구축: 2단계 파이프라인(명세 생성 후 입력/출력 쌍 생성)을 사용하여 gpt-5.2로 생성되었습니다.
• 범위: 29개의 테마 버전으로 점진적으로 구축되었으며, 800개 이상의 퍼지 작업 카테고리(예: 텍스트 처리, 형식 복구, 에이전트 도구 사용, 안전 검증)를 다룹니다.
• 검증: 모호한 타겟을 필터링하기 위해 두 개의 강력한 모델이 출력에 동의해야 하는 검증된 테스트 세트를 포함합니다. 또한 견고성 평가를 위해 노이즈가 섞인 버전(오타, 문법 오류, 모호성)도 포함되어 있습니다.

PAW 시스템

• Text-to-LoRA 구현: 저자들은 텍스트 명세로부터 LoRA 어댑터를 생성하는 것이 prefix-tuning이나 직접 프롬프팅보다 성능이 우수함을 입증했습니다.
• 모달리티 일반성: 컴파일러를 시각-언어 모델(Qwen3-VL)로 교체함으로써 동일한 텍스트 기반 인터프리터를 유지한 채 이미지 조건부 작업으로 추상화를 확장할 수 있습니다.
• 개발자 인터페이스: 개발자가 명세를 직렬화 가능한 가중치 파일(GGUF 형식)로 컴파일하여 완전히 오프라인으로 실행할 수 있게 해주는 실용적인 API(paw.compile, paw.function)를 제공합니다.

4. 실험 결과

FuzzyBench 성능

• 정확도: PAW 프로그램을 실행하는 0.6B 파라미터 인터프리터는 FuzzyBench에서 **73.78%**의 정확한 일치(exact match)를 달的是.
• 비교: 이는 Qwen3-32B의 직접 프롬프팅(68.70%)보다 성능이 높으며, 직접 프롬프팅을 사용한 0.6B 베이스 모델(9.84%)의 성능을 크게 상회합니다.
• 효율성: PAW 시스템은 32B 모델 메모리의 약 1/50 수준의 추론 메모리를 사용합니다 (~60 GB 대비 ~1.2 GB).
• 지연 시간: MacBook M3에서 양자화된 시스템은 30 tokens/second의 속도로 실행됩니다.

견고성

• PAW는 노이즈가 있는 명세(오타, 문법 오류)에 대해 높은 견고성을 보입니다. 의사 프로그램이 디노이저(denoiser) 역할을 수행합니다. 원본 노이즈 명세가 (의사 프로그램을 거치지 않고) 인터프리터에 직접 입력될 경우 성능이 크게 떨어지지만(심한 오타의 경우 4.5 포인트 하락), 전체 PAW 파이프라인은 성능 저하가 매우 적습니다.

절제 연구 (Ablation Studies)

• 컴파일러의 필요성: PAW는 0.6B 베이스 모델의 전체 미세 조정보다 15.4 퍼센트 포인트, 고정된 LoRA보다 21.7 퍼센트 포인트 높은 성능을 보여, 컴파일러가 생성한 명세 인식형 LoRA의 이점을 확인시켜 줍니다.
• 아키텍처: 가장 단순한 LoRA 매퍼 설계(평균 풀링을 통한 단일 벡터, 얕은 MLP, 공유 기저)가 더 복잡하고 "표현력이 풍부한" 변형들보다 우수함을 입증했습니다.
• 양자화: 베이스를 Q6_K로, LoRA 어댑터를 Q4_0로 양자화했을 때 bf16 대비 정확도 손실이 무시할 만한 수준이었으며, 총 디스크 점유 용량은 약 507 MB였습니다.

사례 연구

논문은 다섯 가지 사용 사례를 통해 패러다임을 검증합니다:

1. 이벤트 기반 로그 모니터링: 로그 긴급도의 로컬 분류.
2. 의도 기반 사이트 네비게이션: API 호출 없이 사용자 의도 분류.
3. 시맨틱 검색 재순위화: 키워드 검색 결과를 의도에 따라 재순위화.
4. 에이전트 전처리: TOOLCALL-15에서 93%를 기록한 도구 호출 파이프라인.
5. 창의적 생성: 0.6B 인터프리터가 서비스하는 다국어 단어 맞추기 게임(Alien-Taboo).

5. 의의 및 주장

본 논문은 PAW를 파운데이션 모델이 단순히 "매 입력마다 문제를 해결하는 도구"가 아니라 **"도구 제작자(tool builders)"**로서 기능하는 **"소형 모델의 미래"**를 향한 구체적인 단계로 규정합니다.

• 패러다임의 전환: 모든 쿼리에 대해 거대한 모델을 호출하는 대신, 무거운 작업(퍼지 명세의 이해)은 컴파일 타임에 한 번 수행됩니다. 그 결과물은 작고, 재사용 가능하며, 버전 관리가 가능하고, 배포 가능한 "신경 바이너리(neural binary)"입니다.
• 로컬 실행: PAW는 복잡한 퍼지 로직이 클라우드 LLM API와 관련된 비용, 개인정보 보호, 재현성 문제를 해결하면서도 소비자용 하드웨어(예: MacBook, WebAssembly를 통한 브라우저)에서 완전히 오프라인으로 실행될 수 있게 합니다.
• 모듈성: "하나의 런타임, 다수의 프로그램" 아키텍처를 통해 단일 소형 인터프리터가 PEFT 어댑터를 핫스왑(hot-swapping)함으로써 무제한히 많은 퍼지 함수를 서비스할 수 있습니다.

저자들은 현재 시스템이 단일 단계 퍼지 함수를 처리하며(다단계 추론은 향 향후 과제), 합성 훈련 데이터에 의존하고, 인터프리터 아키텍처가 변경되면 컴파일러를 재훈련해야 한다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지합니다. 그러나 이들은 거대한 컨텍스트나 추론 능력을 요구하지 않으면서도 기호적 구현이 어려운 작업 클래스에 대해, PAW가 API 기반 LLM의 효율적이고 로컬한 대안이 될 수 있다고 주장합니다.