기술 요약: 모델 압축 및 병렬 검증을 통한 효율적인 LLM 기반 광고

문제 정의

온라인 광고, 특히 사용자 쿼리에 기반한 실시간 종단간 광고 생성인 생성형 타겟팅에 대규모 언어 모델 (LLM) 을 통합하는 것은 확장성 - 효율성 딜레마를 크게 야기했습니다. LLM 은 기존 판별 모델에 비해 우수한 일반화 및 추론 능력을 제공하지만, 확장되는 파라미터 수와 엄격한 실시간 지연 시간 요구 사항은 중요한 성능 병목 현상을 초래합니다.

기존 연구는 주로 정밀도 측면 최적화 (예: 학습 전략, 프롬프팅) 에 초점을 맞추었으나, 효율성 측면 최적화는 종종 간과되었습니다. 이러한 간과로 인해 고도의 추론 지연 시간과 계산 비용으로 인해 표준 LLM 배포가 비현실적이 되는 온라인 광고 게재와 같은 시간 민감형 상업적 시나리오에 치명적입니다. 핵심 과제는 추천 품질이나 정밀도를 훼손하지 않고 추론 속도를 최적화하는 것입니다.

방법론

저자들은 모델 압축과 접두사 트리 기반 병렬 검증으로 구성된 두 가지 주요 요소를 포함하는 포괄적인 프레임워크를 제안합니다.

1. 모델 압축

이 구성 요소는 GEMV(일반 행렬 - 벡터 곱셈) 워크로드에 최적화된 양자화와 희소성의 조합을 통해 모델 크기와 계산 오버헤드를 줄이는 것을 목표로 합니다.

• 적응형 그룹별 양자화: 사전 결정된 그룹화 전략을 사용하는 대신, 저자들은 개별 선형 레이어의 민감도에 맞춰 양자화 세분성을 조정하는 적응형 방법을 제안합니다.
  • 민감한 레이어/채널: 오차를 최소화하기 위해 더 많은 그룹을 할당하여 정밀한 양자화를 수행합니다.
  • 비민감한 레이어/채널: 계산 오버헤드를 줄이기 위해 적은 수의 그룹을 할당합니다.
  • 이 접근 방식은 모델을 FP16 에서 INT4로 압축합니다.
• 레이어 적응형 반구조화 희소성: 이 프레임워크는 파라미터의 상대적 중요도에 기반한 레이어별 $N:M$ 가지기 전략을 사용합니다.
  • 중요한 레이어는 더 높은 밀도 (예: 2:4 희소성) 를 유지합니다.
  • 덜 중요한 레이어는 더 공격적으로 가지치기됩니다 (예: 1:4 희소성).
  • 가중치 요소의 중요도는 가중치 크기와 입력 활성화 노름을 모두 고려한 근사 오차의 2 차 테일러 전개를 사용하여 정량화됩니다.
• 커스텀 SparseGemv 커널: 희소 인덱스 데이터 및 메모리 대역폭의 오버헤드를 해결하기 위해 저자들은 커스텀 커널을 개발했습니다.
  • 인덱스 압축: 인덱스를 재배열하고, 이진수로 변환하며, 인코딩 (예: 16 진수) 하여 인덱스와 가중치 크기를 원래 CSR 크기의 **30%**로 줄이는 인덱스 압축 2bit-CSR 구조를 도입했습니다.
  • 메모리 최적화: 뱅크 충돌을 제거하기 위해 셔플 기반 데이터 레이아웃을 사용하여 로컬 메모리에서 공유 메모리로 활성화를 이동합니다. 블록 수준 데이터 공유를 사용하여 HBM 에서 공유 메모리로의 전송 효율성을 개선합니다.
  • 계산 최적화: 커널은 효율적인 INT4-to-FP16 역양자화를 위해 lop3.b32 어셈블리 명령어를 활용하고, 빠른 접근을 위해 비트 연산으로 CSR 인덱싱을 최적화합니다.

2. 접두사 트리 병렬 검증

이 구성 요소는 광고 타겟의 특정 데이터 패턴을 활용하여 디코딩을 가속화합니다.

• 접두사 트리 구축: 계층적 클러스터링 (Differentiable Search Index, DSI 에서 영감) 을 사용하여 일반 텍스트 광고주 식별자를 의미적으로 구조화된 접두사 트리 (Trie) 로 변환합니다. 트리는 상단은 넓고 하단은 좁아 디코딩이 진행됨에 따라 후보 검색 공간을 줄입니다.
• 동적 트리거 메커니즘: 시스템은 순차적 검증에서 병렬 검증으로 전환하는 최적의 시점을 동적으로 결정합니다. 병렬 검증의 오버헤드와 순차적 자기회귀 단계에 필요한 시간 간의 트레이드오프를 계산하여 예측 이득이 최대화될 때 병렬화를 트리거합니다.
• 트리 기반 디코딩: 이 과정은 다음을 포함합니다:
  1. 트리에 대한 깊이 우선 탐색 (DFS) 을 통해 입력 시퀀스 구성.
  2. 트리 기반 제약 조건 (유효한 경로만) 을 적용한 이러한 시퀀스의 병렬 디코딩.
  3. 빔 서치: 로그 합계를 사용하여 부모 노드 점수와 토큰 점수 ($T_{score}$) 를 결합하여 노드 점수 ($B_{score}$) 를 계산하고 상위 시퀀스를 선택합니다.
  4. 최고 점수 노드를 추적하여 최종 시퀀스 재구성.

주요 기여

이 논문은 다음과 같은 구체적인 기여를 주장합니다:

1. 인덱스 압축 2bit-CSR: 혼합 희소성을 위한 최적화된 데이터 구조로, 인덱스 및 가중치 크기를 원래 CSR 의 30% 로 줄입니다.
2. 커스텀 SparseGemv 커널: 기존 NVIDIA 라이브러리 (cuSPARSE/cuSparseLT) 가 효율적인 GEMV 연산에서 남긴 공백을 메우는 INT4 희소 행렬 곱셈을 지원하는 하드웨어 가속 커널.
3. 적응형 그룹별 양자화: 레이어 민감도에 기반하여 그룹 크기를 조정함으로써 유연성과 정밀도를 향상시키는 새로운 양자화 전략.
4. 접두사 트리 제약 빔 서치: 광고 타겟팅의 생성 작업에 특히 적용된 접두사 트리 제약 디코딩과 빔 서치를 결합한 최초의 제안 워크플로우.
5. 프로덕션 배포: 이 프레임워크는 바이두의 광고 플랫폼에 배포되어 실시간 트래픽을 처리하고 있습니다.

실험 결과

이 프레임워크는 Ad Creative Generation과 Targeted Advertising 두 가지 시나리오에서 ERNIE 1.5B 모델을 사용하여 평가되었습니다.

• 타겟팅 광고:
  • 완전한 프레임워크 (희소 + 양자화 + 병렬 트리 검증) 는 평균 길이 6 에서 Recall 0.081을 달성했으며, 기준선 Recall 은 0.084 였습니다.
  • 기술의 조합은 온라인 배포에 적합한 허용 가능한 Recall 수준을 유지하면서 상당한 속도 향상을 보장했습니다.
• 광고 크리에이티브 생성:
  • 학술 저널 메타데이터인 CSL 데이터셋에서 평가되었습니다.
  • 하이브리드 접근 방식 (희소 + 양자화) 은 효율성과 품질 간의 최상의 트레이드오프를 달성했습니다.
  • Ablation Studies:
    • 양자화 (INT4): BLEU(0.4247 $\to$ 0.4178) 및 Meteor 점수에 미치는 영향은 미미하면서 지연 시간을 6.6 초에서 4.8 초로 줄여 1.37 배 속도 향상을 달성했습니다.
    • 희소화 (2:4): 약간의 품질 손실로 1.25 배 속도 향상을 제공했습니다.
    • 공격적 희소화 (1:4): 1.43 배의 높은 속도 향상을 제공했지만 눈에 띄는 품질 저하를 초래했습니다.
    • 조합 (희소 2:4 + 양자화): Meteor 점수 0.6195 로 1.65 배 속도 향상을 달성했습니다.
    • 조합 (희소 1:4 + 양자화): 1.89 배 속도 향상을 달성했으나 품질이 크게 떨어졌습니다.
    • 혼합 희소성 + 양자화: Meteor 점수 0.6127 로 1.78 배 속도 향상을 달성했습니다.
• 실제 배포:
  • 바이두 광고 플랫폼의 프로덕션 환경에서 실제 실험 시 1.8 배 이상의 속도 향상을 달성하면서 경쟁력 있는 정밀도를 유지했습니다.

중요성 및 주장

이 논문은 검색 광고의 "생성형 타겟팅" 문제에 대한 선구적인 솔루션으로 이 작업을 위치시킵니다. 그 중요성은 다음과 같습니다:

• 효율성 격차 해소: LLM 강화 추천 시스템의 추론 지연 시간이라는 중요한 병목 현상을 해결하여, 엄격한 실시간 상업 환경에서 생성형 접근 방식을 실현 가능하게 만듭니다.
• 전체적 최적화: 정확도나 단순 압축에만 초점을 맞춘 이전 작업과 달리, 이 프레임워크는 알고리즘 혁신 (적응형 양자화, 계층적 희소성) 과 저수준 시스템 엔지니어링 (커스텀 커널, 인덱스 압축) 및 비즈니스 특정 로직 (접두사 트리 구축) 을 통합합니다.
• 산업적 실현 가능성: 선도적인 광고 플랫폼에서의 성공적인 배포는 공격적인 모델 압축 및 병렬 검증 전략이 상업적 광고 게재에 필요한 품질을 희생하지 않고 대규모로 적용될 수 있음을 보여줍니다.

저자들은 이 프레임워크가 상업적 광고 타겟팅에 매우 효과적이지만, 최적화 전략이 해당 도메인의 특정 데이터 패턴과 제약 조건에 맞춰져 있으므로 다른 응용 컨텍스트에는 추가 조정이 필요할 것이라고 지적합니다.