LogFold: Compressing Logs with Structured Tokens and Hybrid Encoding

1. 문제 정의 (Problem)

소프트웨어 시스템의 규모가 커짐에 따라 생성되는 로그 데이터의 양이 폭발적으로 증가하여 저장 비용과 용량에 큰 부담을 주고 있습니다. 이를 해결하기 위해 기존에는 Gzip, Bzip2 와 같은 범용 압축 도구나 로그 특화 압축 알고리즘 (LogZip, LogReducer 등) 이 사용되어 왔으나, 다음과 같은 한계가 존재합니다.

1. 구조화된 토큰 (Structured Tokens) 내의 중복성 간과: 로그에는 날짜 (2015-07-09), 타임스탬프, IP 주소 등 구분자 (delimiter) 와 하위 토큰으로 구성된 복잡한 구조화된 토큰이 많습니다. 기존 방법들은 토큰이 정확히 일치할 때만 패턴을 인식하거나, 토큰을 하나의 불투명한 단위로만 취급하여 토큰 내부의 반복 패턴 (예: 날짜의 연도/월/일 구조) 을 활용하지 못했습니다.
2. 세분화된 인코딩 전략 부재: 로그에는 순수 숫자, 순수 문자열, 그리고 숫자와 문자가 섞인 혼합형 토큰 (예: ftpd[4305]) 이 다양하게 존재합니다. 기존 연구들은 숫자에는 특수 인코딩을 적용하고 나머지는 단순 사전 (Dictionary) 인코딩만 사용하는 등, 토큰의 유형에 따른 세밀한 처리 전략이 부족하여 최적의 압축 효율을 달성하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 LogFold라는 새로운 로그 압축 도구를 제안합니다. LogFold 는 구조화된 토큰의 반복 패턴을 발견하고, 토큰 유형에 맞는 하이브리드 인코딩 전략을 적용하여 압축률을 극대화합니다. 전체 아키텍처는 다음 4 가지 핵심 구성 요소로 이루어져 있습니다.

2.1 토큰 분석기 (Token Analyzer)

• 로그 엔트리를 전체적으로 분석하여 토큰을 구조화 (Structured), 비구조화 (Unstructured), 정적 (Static) 유형으로 분류합니다.
• 정적 토큰 시퀀스를 추출하고, 동적 토큰은 구분자 스키레톤 (Delimiter Skeleton) 을 기준으로 구조화되거나 비구조화 토큰으로 라벨링합니다.

2.2 구조화된 토큰 프로세서 (Structured Token Processor)

구조화된 토큰 내부의 중복성을 제거하기 위해 2 단계 프로세스를 수행합니다.

1. 구분자 스키레톤 인식 그룹화 (Delimiter Skeleton-aware Grouping): 토큰의 구분자 패턴 (예: <>-<>-<>) 을 기준으로 토큰을 그룹화하고, 하위 토큰을 행렬 (Matrix) 형태로 변환합니다.
2. 패턴 마이닝 (Pattern Mining): 하위 토큰 행렬 내에서 열 (Column) 단위로 반복되는 패턴을 발견합니다.
   • 중요 위치 식별: 특정 열에서 우세한 값 (Representative Value) 을 통계적 기준 (히스토그램, 지배 비율, Shannon 엔트로피) 으로 찾아냅니다.
   • 재그룹링 (Re-grouping): 발견된 중요 위치에 따라 그룹을 세분화하여 더 구체적인 스키레톤 패턴 (예: 2015-07-<>) 을 생성합니다.
   • 최종 패턴 정제: 재그룹링 후 상수화된 열을 FP-Growth 알고리즘 등을 통해 식별하여 스키레톤에 고정값으로 통합합니다.

2.3 하이브리드 인코더 (Hybrid Encoder)

각 토큰 유형에 최적화된 인코딩 전략을 적용합니다.

• 최적화된 숫자 인코딩: 동적 델타 인코딩 (Delta Encoding) 과 길이 기반 그룹화를 결합하여 숫자 데이터의 압축 효율을 높입니다.
• 사전 인코딩 (Dictionary Encoding): 비구조화 문자열, 스키레톤 패턴, 정적 토큰 시퀀스에 적용합니다.
• 혼합형 인코딩 (Mixed-Type Encoding): 숫자와 문자가 섞인 행렬을 처리하기 위해 문자열을 고유 숫자 ID 로 매핑하고, 원래 숫자와 ID 를 구별하기 위해 홀수/짝수 변환 (Parity-based transformation) 을 적용한 후 통일된 숫자 인코딩을 수행합니다.

2.4 팩커 (Packer)

생성된 사전 파일과 이진 데이터를 통합하여 범용 압축 도구 (예: LZMA) 로 최종 아카이브를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 중복성 패턴 발견: 기존에 간과되었던 구조화된 토큰 내부의 구분자 스키레톤 및 하위 토큰 열의 동질성 (Homogeneity) 을 발견하고 이를 압축에 활용하는 방법을 제시했습니다.
2. 유형 인식 하이브리드 인코딩 전략: 숫자, 문자, 혼합형 토큰 등 다양한 데이터 유형에 맞춰 최적화된 인코딩 기법을 결합한 세분화된 전략을 제안했습니다.
3. LogFold 구현 및 검증: 4 가지 구성 요소로 이루어진 LogFold 를 구현하고, 16 개의 공개 로그 데이터셋을 통해 기존 최첨단 (SOTA) 방법론들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

16 개의 공개 데이터셋 (슈퍼컴퓨터, 분산 시스템, 모바일 등) 을 대상으로 9 개의 베이스라인 (Gzip, LogZip, Denum 등) 과 비교 평가했습니다.

• 압축률 (Compression Ratio): LogFold 는 평균 압축률 89.519를 달성하여, 기존 최상위 방법론 (Denum, 평균 80.568) 보다 11.11% 향상된 성능을 보였습니다. 특히 16 개 데이터셋 중 12 개에서 가장 높은 압축률을 기록했습니다.
• 압축 속도 (Compression Speed): 평균 9.842 MB/s의 속도를 유지하며, 높은 압축률과 실용적인 처리 속도를 동시에 달성했습니다.
• 성분 분석 (Ablation Study): 구조화된 토큰 프로세서와 하이브리드 인코더를 제거한 변형 실험을 통해, 두 구성 요소가 모두 압축률 향상에 필수적임을 입증했습니다.
• 강건성 (Robustness): 내부 파라미터 (임계값 등) 변화와 백엔드 압축 도구 (gzip, bzip2, LZMA) 및 압축 레벨 변화에 대해 성능이 매우 안정적임을 확인했습니다.

5. 의의 및 결론 (Significance)

LogFold 는 로그 압축 분야에서 다음과 같은 의의를 가집니다:

• 저장 효율성 극대화: 장기 보관 (Archiving) 이나 대용량 로그 집계와 같이 저장 공간 비용이 중요한 시나리오에서 혁신적인 압축 효율을 제공합니다.
• 기술적 진보: 단순한 텍스트 매칭을 넘어, 로그 데이터의 구조적 특성과 토큰 유형을 심층적으로 분석하여 중복성을 제거하는 새로운 패러다임을 제시했습니다.
• 실용성: 높은 압축률을 유지하면서도 실용적인 처리 속도를 제공하여, 실제 산업 환경에 적용 가능한 솔루션으로 평가받습니다.

결론적으로, LogFold 는 기존 로그 압축 기술의 한계를 극복하고, 구조화된 토큰의 미세한 패턴과 유형별 최적 인코딩을 통해 차세대 로그 관리 및 분석을 위한 강력한 기반을 마련했습니다.