기술 요약: 사기 및 자금세탁방지 (AML) 를 위한 LLMOops 재고

1. 문제 정의

사기 탐지 및 자금세탁방지 (AML) 규정 준수에 대규모 언어 모델 (LLM) 을 배포하는 작업은 범용 대화 지향 서비스 스택이 해결하지 못하는 고유한 과제를 안고 있습니다. 개방형 대화 작업과 달리, 규정 준수 추론은 다음과 같은 특징을 가집니다:

• 접두사 우세 프롬프트: 요청은 일반적으로 정책 지침, 위험 분류 체계, 스키마 정의와 같은 크고 재사용 가능한 공유 블록으로 구성되며, 그 뒤에 가변적인 사례별 증거가 따릅니다.
• 구조화된 짧은 출력: 목표는 종종 긴 형식의 생성이 아닌, 컴팩트한 JSON 객체, 위험 레이블 목록, 또는 짧은 내러티브입니다.
• 멀티 테넌시 및 엄격한 제약: 작업 부하는 단일 기본 모델에서 여러 작업 변형 (예: 분류, 추출, 번역) 을 포함하며, 데이터 로컬리티, 감사 가능성, 출력 유효성에 대한 엄격한 준수가 필요합니다.

기본 서비스 구성은 이러한 특정 작업 부하 형태에 맞게 조정되지 않았기 때문에 종종 성능이 저하됩니다 (높은 지연 시간, 낮은 GPU 활용도). 또한, 규제 환경은 외부 API 와 관련된 데이터 거버넌스 위험을 피하기 위해 자체 호스팅 솔루션을 요구하며, 이는 규정 준수 가능한 오픈 가중치 모델 스택을 필요로 합니다.

2. 방법론

본 논문은 자체 호스팅 오픈 가중치 모델 (Meta Llama, Alibaba Qwen) 과 최적화된 추론 런타임 (vLLM, SGLang) 을 중심으로 한 작업 부하 인식 LLMOps 스택을 제안합니다. 이 방법론은 특정 최적화 기법을 사기/AML 작업 부하의 고유한 표현형에 매핑하는 데 중점을 둡니다.

주요 기술 구성 요소

• 런타임 튜닝: 분할 프리필 (prefill) 과 선점 (preemption) 을 방지하기 위해 max num seqs, max num batched tokens, KV 캐시 예산을 조정합니다.
• 메모리 관리: PagedAttention을 활용하여 단편화를 줄이고, **자동 접두사 캐싱 (APC)**을 사용하여 공유 정책 접두사에 대한 KV 캐시 블록을 재사용합니다.
• 멀티 어댑터 서비스: 어댑터 및 프롬프트 길이 인식 배치를 구현합니다. 단순한 순차 처리 대신, 시스템은 LoRA 어댑터 ID 로 요청을 그룹화한 후 입력 길이에 따라 버킷화하여 패딩 및 스케줄링 비효율성을 최소화합니다.
• 라이프사이클 관리: 순차 모델 파이프라인을 위한 수면/각성 라이프사이클 제어를 도입하여, 비활성 모델이 VRAM 을 해제하면서도 완전한 콜드 스타트보다 빠른 깨어남 경로를 유지하도록 합니다.
• 디코드 최적화: 예측 디코딩 (예: EAGLE 스타일) 과 엄격한 정지 토큰을 사용하여 짧은 JSON 출력에 대한 불필요한 생성 오버헤드를 줄입니다.
• 품질 보증: 사전 생산 품질 게이트로 작동하는 LLM-as-Judge 프레임워크입니다. 이 계층은 결정론적 스키마 검사, 참조 지표 (BLEU, ROUGE, 코사인 유사도), 그리고 전문가가 심의한 교정 데이터에 대한 다중 판정자 루브릭 점수를 결합하여 배포 전 규정 준수를 보장합니다.

재현성 트랙

독점 금융 데이터를 노출하지 않고 재현성을 보장하기 위해, 저자들은 공개 합성 데이터셋 (IBM AML 및 SAML-D) 을 사용하여 벤치마크를 구축했습니다. 이러한 데이터셋은 재사용 가능한 정책 텍스트, 거래 증거, 그리고 스키마 제약 출력을 포함하는 접두사가 많은 규정 준수 프롬프트로 변환되었습니다. 독점 고객 기록이나 내부 조사 노트는 사용되지 않았습니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 작업 부하 특성화: 사기 및 규정 준수 추론을 긴 공유 접두사, 구조화된 짧은 출력, 그리고 빈번한 멀티 테넌트 사용으로 정의된 고유한 작업 부하 클래스로 정의합니다.
2. 재사용 가능한 서비스 스택 설계: 최적화 기법 (APC, PagedAttention, 멀티 어댑터 배치) 을 AML/사기 작업 부하 요구 사항에 직접 매핑하는 구체적인 아키텍처를 제시합니다.
3. 공개 재현성 트랙: 민감한 기관 데이터의 공개를 피하면서도 현실적인 작업 부하 형태를 유지하기 위해 합성 공개 데이터 (IBM AML, SAML-D) 를 사용하여 서비스 스택을 평가하는 방법론을 확립합니다.
4. 품질 게이트 프레임워크: 배포 전 서비스 구성을 검증하기 위해 결정론적 검사 및 인간과 정렬된 점수 평가를 통합한 LLM-as-Judge 평가 시스템을 설명합니다.

4. 결과

실험은 공개 합성 AML 작업 부하 및 통제된 서비스 벤치마크에서 수행되었습니다. 결과는 작업 부하 인식 튜닝을 통한 상당한 효율성 향상을 보여줍니다:

• 처리량: 긴 컨텍스트 추출 작업 부하에서 시간당 612~650 건에서 3,600 건으로 증가 (약 5.5~5.9 배 향상).
• 지연 시간: P99 지연 시간이 3138 초에서 6.48.7 초로 감소.
• 자원 활용도: GPU 활용도가 **12% 에서 78%**로 개선되어, 1,000 건의 성공적인 요청당 정규화된 비용 (GPU 시간) 이 약 83% 감소.
• 멀티 어댑터 효율성: 어댑터 및 프롬프트 길이 인식 배치는 표준 PEFT 스타일 어댑터 로딩 대비 유효 처리량을 3.90 배 향상시켰습니다.
• 라이프사이클 관리: 수면/각성 제어는 순차 파이프라인의 경우 콜드 스타트 대비 모델 가용 시간을 29~37 배 단축했습니다.
• 예측 디코딩: 가이드드 JSON 벤치마크에서 예측 디코딩을 적용한 단일 H100 은 2×H100 기준 대비 처리량을 동등하거나 초과하면서도 정규화된 비용을 약 53% 감소시켰습니다.

5. 중요성 및 주장

본 논문은 규제된 추론에 있어 성능은 모델이나 하드웨어 문제만큼이나 작업 부하 설계, 품질 게이팅, 그리고 거버넌스 문제라고 주장합니다.

• 겸손한 주장: 저자들은 결과가 "공개 합성 데이터에 대한 서비스 스택 및 작업 부하 형태 증거"이며, 독점 금융 기관의 성능 공개가 아님을 명시적으로 밝힙니다. 품질 관찰은 "운영적 분류를 위한 소규모 파일럿 슬라이스"로 설명되며, 최첨단 작업 품질에 대한 주장은 아닙니다.
• 운영적 영향: 이 연구는 표준 LLM 서비스 구성이 주요 성능 향상을 놓치고 있음을 보여줍니다. 서비스 스택을 규정 준수 작업 부하의 특정 "형태" (접두사 재사용, 짧은 구조화된 출력, 멀티 어댑터 필요성) 에 정렬함으로써 기관은 엄격한 데이터 거버넌스 및 감사 가능성을 유지하면서 고처리량, 저지연 추론을 달성할 수 있습니다.
• 향후 방향: 본 논문은 규제된 작업 부하를 확장하기 위한 자연스러운 다음 최전선으로 프리필/디코드 분리 및 자동 구성 검색을 식별하며, 현재 고급 확장 기능 (예: 크로스 워커 LMCache) 은 유망하지만 아직 보편적인 생산 기본값은 아니라고 지적합니다.

결론적으로, 본 논문은 원시 모델 선택보다 작업 부하별 최적화와 엄격한 품질 게이트를 우선시하는 규정 준수 등급 LLM 서비스 스택 구축을 위한 청사진을 제공하여, 고위험 금융 분야에서 LLM 의 안전하고 효율적인 배포를 가능하게 합니다.