기술 요약: RuleChef

문제 정의

초기 자연어 처리(NLP) 시스템은 투명하고 수작업으로 제작된 규칙에 의존했던 반면, 이후 분야는 특징 기반 분류기로 전환되었고, 최근에는 대규모 언어 모델(LLM) 및 사전 학습된 트랜스포머로 이동했습니다. 이러한 현대적 접근 방식은 우수한 커버리지와 유연성을 제공하지만, 결정 로직이 잠재적 파라미터 내에 내장된 "블랙박스" 형태로 작동하여 직접적인 감사, 설명 또는 편집이 어렵습니다. 이러한 해석 가능성의 결여는 예측이 인증을 위해 명시적인 패턴에 추적 가능해야 하는 의료, 법률, 금융과 같은 민감하고 고도로 규제된 도메인에서 중요한 장벽이 됩니다.

반대로, 명시적인 규칙은 낮은 추론 비용, 결정론적 특성, 용이한 검사 기능 덕분에 많은 실제 작업에서 여전히 매력적입니다. 그러나 규칙 기반 시스템의 주요 병목 현상은 정확도가 아니라, 상당한 도메인 전문 지식을 필요로 하는 수작업 기반의 규칙 작성 및 유지 관리의 노동 집약적인 특성입니다.

방법론: RuleChef 프레임워크

RuleChef는 LLM을 오직 **학습 시(learning time)**에만 사용하여 실행 가능한 기호적 규칙을 합성하되, **추론 시(inference time)**에는 결정론적이고 규칙 기반인 상태를 유지하도록 설계된 프레임워크입니다. 이 시스템은 규칙의 생성과 실행을 분리하여 최종 모델이 빠르고, 검사 가능하며, 편집 가능하도록 보장합니다.

핵심 구성 요소

1. 규칙 합성 (Rule Synthesis):

   • 시스템은 작업 명세(예: 개체명 인식, 텍스트 분류)와 감독 신호(레이블이 지정된 예시, 수정 사항, 자유 텍스트 피드백 또는 관찰된 모델 동작)를 입력받습니다.
   • 시스템은 작업 정의, 샘플링된 훈련 예시, 데이터 증거(grex와 같은 도구의 regex 힌트 포함), 형식 지침을 포함하도록 프롬프트를 구조화합니다.
   • LLM은 정규 표현식(regex), spaCy 토큰 패턴 또는 Python 코드와 같은 형식으로 규칙을 생성합니다. 본 논문의 평가는 주로 regex에 집중합니다.
   • 생성된 규칙은 수락되기 전에 컴파일 및 스키마 준수 여부를 검증받습니다.

2. 반복적 정제 루프 (Iterative Refinement Loop):

   • 초기 합성 후, 시스템은 별도의 개발 세트(held-out development split)에서 규칙 세트를 평가합니다.
   • 실패 사례는 "실패 모드"(예: 누락된 스팬, 잘못된 스팬, 잘못된 유형)별로 클러스터링됩니다.
   • LLM은 이러한 특정 실패 클러스터를 타겟팅하는 "패치"(새로운 또는 수정된 규칙)를 생성하도록 프롬프트됩니다.
   • 핵심 제약 조건: 패치는 개발 세트에서 품질(F1 점수)을 개선하는 경우에만 수락됩니다. 이는 훈련 데이터에 대한 과적합과 암기를 방지합니다.
   • 루프는 고정된 스케줄에 의해 구동되거나, 클래스별 메트릭을 분석하여 후속 패치를 유도하고, 주기적인 크리틱(규칙 수준의 피드백 제공)을 실행하며, 감사(중복 규칙 병합 또는 비효과적 규칙 제거)를 수행하는 **에이전트 코디네이터(Agentic Coordinator)**에 의해 구동될 수 있습니다.

3. 충돌 해결 및 가지치기 (Conflict Resolution and Pruning):

   • 여러 규칙이 중복될 경우, 가장 높은 우선순위를 가진 규칙을 실행합니다. 동점인 경우 개발 세트에서 달성한 정밀도(precision)를 기준으로 순위를 결정합니다.
   • 정밀도 추정치는 지원(support)이 낮은 규칙(예: 1번 중 1번 맞춘 규칙은 100번 중 95번 맞춘 규칙보다 높게 평가되지 않음)을 제외하기 위해 Wilson 하한(Wilson lower bound)을 사용하여 조정됩니다.
   • Leave-one-out 패스를 통해 각 규칙이 앙상블 F1에 미치는 한계 기여도를 측정하여, 제거해도 성능에 영향을 주지 않는 규칙을 탈락시킵니다.

4. 관찰 모드 (Observation Mode):

   • LLM이 이미 운영 환경의 트래픽을 처리하고 있는 시나리오의 경우, RuleChef는 수동 레이블 없이 규칙을 부트스트래핑할 수 있습니다. LLM의 입출력 쌍을 훈련 예시로 취급하여, 이러한 관찰로부터 주기적으로 규칙을 합성합니다.
   • 하이브리드 배포 전략이 지원됩니다: 신뢰도가 높은 규칙은 트래픽을 처리하고, 불확실한 케이스는 다시 LLM에 위임합니다.

주요 기여

• 하이브리드 학습 프레임워크: 감독 신호(예시, 수정, 피드백 또는 모델 동작)로부터 실행 가능한 규칙을 합성하며, LLM 사용을 학습 단계로 엄격히 제한하고 추론 단계에서의 결정론적 실행을 분리하는 시스템입니다.
• 정제 루프: 보유 데이터(held-out data)를 통해 변화를 측정하고, 정밀도를 통해 충돌을 해결하며, 엄격한 수락 기준을 통해 암기를 방지함으로써 규칙 시스템을 개선하는 반복 프로세스입니다.
• Human-in-the-Loop (HITL) 통합: 도메인 전문가가 규칙을 검토하고 명시적인 피드백을 제공할 수 있는 능력으로, 이 피드백은 LLM이 타겟 업데이트를 수행하도록 유도하는 데 사용됩니다.
• 비지도 관찰: 정답 레이블 없이 외부 블랙박스 모델의 동작으로부터 규칙을 학습하여, 초기 인간 레이블링 없이도 태스크 발견 및 규칙 생성을 가능하게 합니다.
• 오픈 소스 공개: 본 프레임워크는 Apache 2.0 라이선스로 공개되었습니다.

실험 결과

저자들은 두 가지 작업, 즉 **텍령 익명화(Text Anonymization, TAB)**를 위한 개체명 인식(NER)과 Banking77을 위한 의도 분류에 대해 RuleChef를 평가했습니다.

TAB (개체명 인식)

• 형태 기반 엔티티 성능: 표면 형태(예: 날짜, 케이스 번호, 수량)로 정의된 엔티티 유형에 대해, RuleChef가 생성한 규칙은 직접적인 LLM 프롬프팅 및 GLiNER2 베이스라인보다 F1 점수에서 크게 앞섰으며, 높은 정밀도(예: 형태 엔티티에 대해 89.1%)를 달성했습니다.
• 의미론적 엔티티 성능: 의미론적 유형(예: 사람, 조직)에 대해, 규칙 기반 접근 방식은 직접적인 LLM 프롬프팅보다 낮은 재현율(recall)을 보였으나, GLiNER2 베이스라인보다는 높은 정밀도를 유지했습니다. 저자들은 이것이 의도된 동작이라고 언급했습니다. 즉, 고정밀 규칙이 점진적으로 확장 가능한 기초를 형성하는 것입니다.
• 추론 효율성: RuleChef는 문서당 약 0.6 ms의 추론 지연 시간을 달성했으며, 이는 LLM 프롬프팅(1500 ms) 및 GLiNER2(190 ms)와 비교됩니다.
• 신경망 베이스라인과의 비교: 공식 전체 문서 테스트 세트에서, 22개의 학습된 규칙은 오프더쉘프(off-the-shelf) RoBERTa NER 시스템보다 거의 30 포인트 높은 정밀도를 보였으나, 파인튜닝된 Longformer 시스템보다는 낮았습니다.

Banking77 (의도 분류)

• Few-Shot vs. 규칙: 5-way 의도 분류 작업에서, RuleChef의 학습된 규칙은 Few-shot LLM 프롬프팅 및 지도 학습 베이스라인과 대등한 정밀도(~97.6% vs. 98.0%)를 달성했으나, 재현율(61.0% vs. 98.0%)은 낮았습니다. 이는 규칙 기반 시스템의 전형적인 트레이드오프입니다.
• 관찰 모드: 정답 레이블 없이 외부 LLM의 출력으로부터 학습할 때, 관찰된 예시가 10개에서 50개로 증가함에 따라 정밀도는 92.7%에서 96.0%로 증가했습니다. 재현율은 19.0%에서 49.5%로 개선되었습니다. 저자들은 이러한 시스템이 하이브리드 아키텍처에서 투명한 첫 번째 계층 역할을 할 수 있다고 제안합니다.

절제 연구 및 복구 (Ablation and Repair)

• 반복적 학습: 원샷(one-shot) 규칙 생성 프롬프트는 의미론적 엔티티 유형에는 거의 무용했으나, 형태 유형에는 효과적이었습니다. 반복적 정제 루프, 특히 "보유 데이터 수락(holdout acceptance)"은 일반화에 필수적이었습니다.
• 인간 피드백: 특정 규칙 결함(예: 분수 형태의 케이스 번호를 수량으로 매칭하는 규칙)을 수정하는 단 한 번의 인간 피드백이 "QUANTITY" 클래스의 F1 점수를 5.7에서 35.6으로 향상시켜, 시스템의 전문가 수정에 대한 반응성을 입증했습니다.

의의 및 주장

본 논문은 RuleChef가 특히 정기적인 표면 패턴이 있는 작업에 대해, 완전히 투명하고, 검사 가능하며, 편집 가능한 규칙 기반 시스템을 생성하는 것이 오프더쉘프 신경망 모델과 경쟁할 수 있음을 보여준다고 주장합니다.

저자들은 결과가 예비적임을 인정하면서도, 이 프레임링이 다음과 같은 실질적인 경로를 제공한다고 강조합니다:

1. 규제 준수: 고위험 도메인에서 인증되고 추적 가능한 예측을 제공합니다.
2. 비용 절감: LLM 호출을 regex 실행으로 대체함으로써 추론 비용을 획기적으로 낮춥니다.
3. 하이브리드 시스템: 계단식 시스템에서 고정밀 첫 번째 계층 역할을 수행하여, 값비싼 블랙박스 모델의 부하를 줄입니다.

논문은 단일 LLM 제품군(Kimi-K2)에 대한 의존성, 반복적 프롬프팅의 비결정성, 다양한 도메인 및 언어에 대한 추가 실험의 필요성 등 한계를 인정합니다. Rule-Chef를 모든 맥락에서 신경 모델을 대체하는 도구가 아니라, 설명 가능성, 감사 가능성 및 결정론적 실행이 최우선인 시나리오를 위한 특화된 도구로 포지셔닝합니다.