기술 요약: CelerLog: 동적 라우팅을 통한 고속 로그 파싱

문제 제기

로그 파싱은 자동화된 시스템 분석을 위한 전제 조건으로, 원시적이고 반구조화된 로그 메시지를 정적 템플릿과 동적 파라미터로 구성된 구조화된 형식으로 변환합니다. 구문 기반 파서 (예: Drain) 는 높은 효율성을 제공하지만, 복잡하거나 진화하는 로그 패턴을 처리하는 데 필요한 의미론적 추론이 부족하여 정확도가 낮아지는 경우가 많습니다. 반면, 등장한 LLM 기반 의미론적 파서는 자연어 이해 능력을 활용하여 뛰어난 정확도를 달성하지만, prohibitive 한 지연 시간과 금전적 비용이라는 단점이 있습니다. 이러한 비용은 모든 로그 메시지에 대해 무조건 무거운 의미론적 추론을 적용하는 근본적인 설계 결함에서 비롯됩니다. 기존 최적화 전략인 캐싱이나 샘플링은 근본 원인인 '의미론적 추론이 필요한 로그'와 '단순 통계 분석으로 해결 가능한 로그'를 구분하지 못하는 문제를 해결하지 못합니다.

방법론

저자들은 로그의 통계적 특성에 따라 가장 적합한 처리 엔진으로 동적으로 라우팅하는 하이브리드 로그 파서인 CelerLog를 제안합니다. 핵심 통찰은 대다수의 로그가 다양한 파라미터를 가진 반복적 패턴 (밀집 그룹) 을 보여 통계적 분석으로 파싱이 가능하지만, 소수의 로그만이 이러한 패턴이 부재하여 (희소 그룹) LLM 기반 의미론적 추론이 필요하다는 점입니다.

CelerLog 는 세 가지 주요 구성 요소로 이루어집니다:

1. 동적 라우터

라우터는 트래픽 제어기 역할을 하며, 두 단계 프로세스를 통해 들어오는 로그를 밀집 그룹과 희소 그룹으로 분류합니다:

• 2 단계 그룹화:
  • 마스크된 스켈레톤 기반 그룹화: 원시 로그는 변수 토큰 (숫자, 문자열 등) 을 지정된 자리 표시자 (예: <NUM>, <UCL>) 로 마스킹하여 "마스킹된 스켈레톤"을 생성합니다. 동일한 스켈레톤을 공유하는 로그들은 그룹화됩니다.
  • 길이 기반 그룹화: 이러한 스켈레톤 그룹은 토큰 길이를 기준으로 "버킷"으로 추가 집계됩니다. 동일한 템플릿에서 생성된 로그는 일반적으로 동일한 길이를 공유하기 때문입니다.
• 앵커 기반 병합: 각 버킷 내에서 라우터는 "앵커" 그룹 (가장 많은 고유 로그 수를 가진 그룹) 을 식별합니다. 그런 다음 앵커와 다른 그룹 간의 위치 인식 자카드 유사도 (Position-aware Jaccard Similarity) 를 계산합니다.
  • 동적 유사도 임계값은 "싱글톤 비율 곡선 (Singleton Ratio Curve)"에서 도출되어, 유효한 패턴을 포착하면서도 과도한 병합을 방지하는 최적의 절단점을 결정합니다.
  • 경량 동사 확인은 의미론적 일관성을 보장합니다 (예: 핵심 동작 동사가 공유되는지 확인).
  • 앵커와 성공적으로 병합된 그룹은 밀집 로그 그룹으로 분류됩니다. 병합되지 않은 그룹은 희소 로그 그룹으로 분류됩니다.

2. 통계 처리기 (고속 트랙)

밀집 로그 그룹은 이 효율적인 모듈로 라우팅됩니다. LLM 을 호출하는 대신, 단순한 통계 분석을 수행합니다:

• 그룹 내 로그들을 정렬하고 각 토큰 위치에서의 값 분포를 분석합니다.
• 여러 개의 서로 다른 값을 포함하는 위치는 파라미터로 식별되어 와일드카드 (예: <*>) 로 마스킹됩니다.
• 단일 값을 가진 위치는 정적 템플릿 부분으로 유지됩니다.
• 이 과정은 최소한의 계산 오버헤드와 LLM 환각의 위험 없이 최종 템플릿과 파라미터를 생성합니다.

3. LLM 기반 처리기 (저속 트랙)

충분한 통계적 신호가 부재한 희소 로그 그룹은 LLM 으로 라우팅됩니다.

• 작업 설계: 환각과 비용을 최소화하기 위해 LLM 에게 전체 템플릿 생성을 요청하지 않습니다. 대신, 로그에서 발견된 정확한 변수 문자열 목록을 반환하는 변수 식별을 수행하도록 프롬프트를 구성합니다.
• 검증: 시스템은 최종 템플릿을 생성하기 위해 마스킹하기 전에 식별된 변수가 원본 로그에 존재하는지 확인합니다. LLM 이 실패하거나 유효하지 않은 출력을 생성하면 오류를 방지하기 위해 원본 로그로 복귀합니다.
• 병렬화: 확장성을 처리하기 위해 CelerLog 는 라우팅 단계 (CPU 코어 간 버킷 처리) 에 데이터 병렬성을, LLM 단계 (배치 요청) 에 비동기 I/O 를 활용합니다.

주요 기여

1. 로그 분포에 대한 통찰: 저자들은 기존 LLM 기반 파서의 병목 현상이 의미론적 추론의 균일한 적용에 있음을 규명했습니다. 대다수의 로그가 LLM 없이도 파싱에 충분한 반복적 통계적 패턴을 지니고 있음을 입증했습니다.
2. 밀집 vs 희소 분류: 논문은 통계적 변이가 풍부한 밀집 로그 그룹과 정적이거나 고립된 희소 로그 그룹을 공식적으로 정의하고, 이러한 차이를 활용하는 하이브리드 전략을 제안합니다.
3. CelerLog 프레임워크: 로그를 고속 통계 처리기 또는 LLM 기반 처리기로 동적으로 라우팅하는 메커니즘을 도입하여 효율성과 효과성을 극대화합니다.
4. 종합적 평가: 14 개 공개 데이터셋에 대한 광범위한 실험을 통해 CelerLog 가 정확도 면에서 최첨단 베이스라인을 능가하면서 시간과 비용을 획기적으로 절감함을 입증했습니다.

실험 결과

14 개 공개 데이터셋 (Apache, HPC, OpenSSH, Zookeeper 포함) 에서 평가된 CelerLog 는 구문 기반 (Drain, AEL, Brain) 과 LLM 기반 (LILAC, LogBatcher, LUNAR) 베이스라인 모두에서 상당한 우위를 보였습니다:

• 효과성: CelerLog 는 평균 그룹화 정확도 (GA) 0.927과 파싱 정확도 (PA) 0.875를 달성하여, 최상의 LLM 기반 베이스라인 (LogBatcher) 보다 PA 에서 (0.875 대 0.786) 상당한 차이로 우위를 점했습니다.
• 효율성:
  • CelerLog 는 LLM 기반 방법보다 7.9 배에서 18.6 배 빠릅니다.
  • 특히 CelerLog 의 병렬 버전은 널리 채택된 구문 기반 파서 Drain 보다 최대 1.5 배 더 빠릅니다.
• 비용 절감:
  • 토큰 소비: LLM 방법 대비 80.2%–94.1% 감소 (예: LUNAR 의 약 207k 토큰에서 CelerLog 의 약 12k 토큰으로).
  • LLM 호출 횟수: 86.4%–90.9% 감소 (예: LUNAR 의 약 370 회 호출에서 CelerLog 의 약 34 회로).
• 강건성: 라우터나 통계 처리기를 제거하는 제거 실험 (Ablation studies) 은 성능이 심각하게 저하되거나 비용이 증가함을 확인했습니다. 민감도 분석은 CelerLog 가 하이퍼파라미터 설정 (유사도 임계값 및 top-k 선택) 에 대해 강건함을 보여줍니다. 또한, 대규모 모델 (Gemini-3-pro) 에서 소형 모델 (Qwen3-8b) 에 이르기까지 다양한 백본 LLM 에서 시스템이 안정적인 성능을 유지합니다.

의의

이 논문은 CelerLog 가 로그 파싱을 위한 새로운 파레토 프론티어를 확립하여, 동시에 매우 정확하고 비용 효율적인 솔루션을 제공한다고 주장합니다. 모든 로그가 복잡한 의미론적 이해를 필요로 하지 않는다는 점을 인식함으로써, CelerLog 는 구문 기반 파서의 속도와 의미론적 파서의 정확도 사이의 간극을 해소합니다. 저자들은 이 작업을 현재 LLM 기반 접근법의 prohibitive 한 비용이 이전에는 배포를 제한했던 현실 세계의 대규모 로그 분석을 위한 실용적 가능자로 위치시킵니다. 하이브리드 접근법은 비싼 LLM 자원을 진정으로 필요로 하는 로그에만 예약함으로써 자동화된 로그 분석을 확장 가능하고 경제적으로 타당하게 만듭니다.