VarParser: Unleashing the Neglected Power of Variables for LLM-based Log Parsing

이 논문은 기존 LLM 기반 로그 파싱이 상수 부분에만 집중하여 발생하는 비효율성과 비용 문제를 해결하기 위해, 변수 부분의 기여도를 활용하는 'VarParser'를 제안하여 파싱 정확도와 효율성을 동시에 향상시키고 비용을 절감하는 방법을 제시합니다.

핵심

1. 배경: 거대한 도서관과 '기록장'

컴퓨터 시스템은 매일 밤낮없이 작동하면서 수백만 개의 '기록장 (로그)'을 남깁니다.

• 예시: "10 시 05 분, 서버 A 에서 '사용자 B'가 '파일 C'를 열었습니다."
• 문제: 이 기록들은 매일매일 똑같은 문장 (상수) 과 매일매일 바뀌는 숫자나 이름 (변수) 이 섞여 있습니다. 엔지니어들은 이 기록들을 분석해서 시스템이 왜 멈췄는지, 어디가 고장 났는지 찾아내야 합니다. 하지만 기록이 너무 많고 비정형적이라서 사람이 직접 읽기엔 불가능합니다.

2. 기존 방법의 한계: "고정된 문장"만 보는 안경

기존의 AI(대규모 언어 모델) 기반 도구들은 기록을 정리할 때 **고정된 부분 (상수)**에만 집중했습니다.

• 비유: 마치 도서관에서 책 제목 (고정된 부분) 만 보고 책을 분류하는 사서처럼요.
  • "사용자 B가 파일을 열었습니다."
  • "사용자 D가 파일을 열었습니다."
  • 이 사서는 "사용자"라는 단어만 보고 두 문장이 같다고 생각해서, B 와 D 라는 중요한 이름 (변수) 을 무시하고 "사용자 <*> 가 파일을 열었습니다"라고만 정리해 둡니다.
• 결과:
  1. 비효율: 비슷한 문장끼리 묶으려고 너무 많은 시간을 씁니다.
  2. 비용: 매번 AI 에게 물어보느라 돈 (API 비용) 이 많이 듭니다.
  3. 정보 손실: 중요한 이름 (B 나 D) 이 사라져서, 나중에 "누가 파일을 열었지?"라고 물을 때 답을 못 합니다.

3. VarParser 의 등장: "변화하는 부분"을 주목하는 새로운 사서

VarParser 는 **"변수 (변화하는 부분) 가 바로 핵심 정보다!"**라고 생각합니다. 고정된 문장보다는 누가, 언제, 무엇을 했는지가 중요한 변수에 집중합니다.

핵심 전략 3 가지 (일상 비유)

① 변수 기여도 샘플링 (가장 중요한 사람만 초대하기)

• 기존: 기록을 무작위로 뽑거나, 문장 전체를 비교해서 비슷한 걸 찾습니다.
• VarParser: "이 기록에 어떤 **변수 (이름, 숫자)**가 들어있는지"를 먼저 봅니다.
  • 비유: 파티를 열 때, 모든 초대장을 다 비교하는 게 아니라 **"누가 왔는지 (변수)"**를 먼저 봅니다. 같은 종류의 손님이 온 기록끼리 묶어서, 가장 다양한 손님이 온 기록들만 골라 AI 에게 보여줍니다.
  • 효과: AI 가 공부할 자료를 훨씬 적게 뽑아도 되므로 속도가 빨라지고 비용이 줄어듭니다.

② 변수 중심 캐시 (기억력 있는 사서)

• 기존: AI 가 정리한 결과를 저장할 때, 변수 부분은 지워버리고 "여기에 뭐가 들어갈지"만 기억합니다.
• VarParser: 변수 부분도 라벨을 붙여서 기억합니다.
  • 비유: 사서가 "이 책은 '이름' 자리에 들어가는 게 뭐든 상관없어"라고 기억하는 게 아니라, **"이 책의 '이름' 자리에 '김철수'가 들어갔던 적이 있어"**라고 구체적으로 기억합니다.
  • 효과: 새로운 기록이 들어왔을 때, AI 에게 물어보지 않아도 "아, 이 패턴은 '이름' 자리에 숫자가 들어가는 경우구나"라고 바로 알아맞힙니다. AI 호출 횟수가 급격히 줄어듭니다.

③ 적응형 문맥 학습 (맞춤형 예시 보여주기)

• 기존: AI 에게 예시를 보여줄 때, 문장 전체를 다 보여줍니다. (불필요한 정보 과다)
• VarParser: AI 에게 "변수 부분만" 골라서 예시를 보여줍니다.
  • 비유: 요리 레시피를 가르칠 때, "냄비, 물, 소금, 고기..."라는 전체 재료를 다 설명하는 게 아니라, **"오늘은 '고기' 대신 '두부'를 넣는 경우"**만 집중해서 설명해 줍니다.
  • 효과: AI 가 헷갈릴 일이 줄어들고, 토큰 (문자) 사용량이 줄어 비용이 절약됩니다.

4. VarParser 의 성과

이 방법을 실험해 보니 다음과 같은 결과가 나왔습니다.

1. 정확도 UP: 기존 방법들보다 훨씬 정확하게 기록을 분류했습니다.
2. 속도 UP: AI 를 부르는 횟수가 줄어들어 처리 속도가 빨라졌습니다.
3. 비용 DOWN: AI 사용량이 줄어들어 운영 비용이 크게 절감되었습니다.
4. 정보 보존: "누가, 무엇을 했는지"라는 중요한 변수 정보까지 모두 남겨두어, 나중에 시스템 문제를 추적할 때 훨씬 더 많은 정보를 얻을 수 있게 되었습니다.

요약

VarParser는 거대한 로그 데이터를 정리할 때, "고정된 문장"에 매몰되지 않고 "변화하는 정보 (변수)"에 집중하는 새로운 방식입니다.

마치 도서관 사서가 책 제목만 보고 분류하는 게 아니라, 책에 적힌 '저자 이름'이나 '주요 내용'을 먼저 보고 분류하는 것처럼, 더 똑똑하고 빠르고 저렴하게 시스템의 상태를 파악할 수 있게 해주는 혁신적인 도구입니다.

기술 요약

1. 문제 정의 (Problem)

대규모 온라인 서비스 시스템에서 로그는 장애 진단 및 이상 탐지를 위한 핵심 정보원입니다. 로그 파싱은 비정형 로그 데이터를 구조화된 이벤트로 변환하는 과정으로, 기존 LLM(대형 언어 모델) 기반 로그 파서들은 다음과 같은 중요한 한계를 가지고 있습니다.

• 상수 (Constants) 중심의 전략: 기존 방법들은 로그의 고정된 부분 (상수) 에만 집중하고, 동적으로 변하는 부분 (변수) 의 기여도를 무시합니다.
• 비효율적인 그룹링 및 샘플링: 상수만 기준으로 로그를 그룹화하면 템플릿 수와 유사한 수의 그룹이 생성되어 샘플링 효율이 떨어집니다.
• 높은 LLM 호출 비용 및 낮은 효율성:
  • 상수 기반 캐싱으로 인해 매칭 실패가 빈번하여 불필요한 LLM 호출이 증가합니다.
  • 프롬프트에 많은 상수 토큰을 포함시켜 토큰 소비량과 비용이 과도하게 발생합니다.
• 결과 무결성 손실: 파싱 결과에서 변수 정보를 플레이스홀더 (<*>) 로만 남기거나 삭제하여, 시스템 상태나 내부 세부 정보를 담은 변수 데이터가 손실됩니다. 이는 하위 작업 (이상 탐지 등) 의 효과를 저하시킵니다.

2. 방법론 (Methodology)

저자들은 VarParser라는 새로운 변수 중심 (Variable-centric) 로그 파싱 전략을 제안합니다. 이 방법은 로그의 변수 부분을 적극적으로 활용하여 파싱의 정확도와 효율성을 동시에 개선합니다. VarParser 는 세 가지 핵심 모듈로 구성됩니다.

가. 변수 기여도 샘플링 (Variable Contribution Sampling)

• 목표: 방대한 로그 데이터에서 다양하고 정보량이 풍부한 소량의 로그를 추출합니다.
• 동작 원리:
  1. 그룹링: 일반적인 단어 (NLTK 등) 를 필터링하여 '드문 토큰 (Uncommon Tokens)'을 추출하고, 이를 기반으로 로그를 그룹화합니다. 이는 동일한 변수를 가진 로그들을 하나의 그룹으로 묶어 샘플링 효율을 높입니다.
  2. 기여도 계산: 드문 토큰을 클러스터링하여 변수 유형을 추정하고, 각 클러스터가 다양한 로그에서 차지하는 위치 수를 기반으로 기여도를 계산합니다.
  3. 탐욕적 다양성 샘플링 (Greedy Diversified Sampling): 기여도가 높은 로그를 우선적으로 샘플링하되, 샘플링된 로그의 변수 클러스터 기여도를 0 으로 초기화하여 다음 샘플이 새로운 정보를 포함하도록 동적으로 조정합니다.

나. 변수 중심 파싱 캐시 (Variable-Centric Parsing Cache)

• 목표: LLM 호출을 줄이고 매칭 정확도를 높입니다.
• 동작 원리:
  1. 변수 퍼지 매칭 테이블 (Variable-fuzzed Matching Table): 로그의 동적 내용 (숫자, IP 등) 을 마스킹하여 템플릿과 매핑합니다.
  2. 변수 단위 (Variable Units) 도입: 템플릿과 함께 변수의 위치 정보, 레이블, 인스턴스 (예시, 빈도) 를 캐시에 저장합니다.
  3. 마스크 매칭 (Mask Matching): 토큰 매칭이 실패할 경우, 캐시에 저장된 변수 위치 정보를 기반으로 해당 부분을 마스킹하고 유사도 (Jaccard Similarity) 를 계산합니다. 이를 통해 LLM 의 불안정한 출력으로 인한 매칭 실패를 방지하고 불필요한 LLM 호출을 줄입니다.
  4. 캐시 보정 (Cache Correction): LLM 의 환각 (Hallucination) 문제로 인해 변수가 잘못 식별된 경우 (예: 상수를 변수로 잘못 라벨링), 레이블 내용을 검증하여 상수로 되돌리는 보정 로직을 적용합니다.

다. 적응형 변수 인식 ICL (Adaptive Variable-aware In-Context Learning)

• 목표: 프롬프트 내 토큰 소비를 줄이고 LLM 의 학습 효율을 높입니다.
• 동작 원리:
  • 기존 방법은 로그 전체를 예시로 사용하지만, VarParser 는 토큰 수준에서 드문 토큰 (변수 후보) 을 추출합니다.
  • 캐시에 저장된 변수 단위와 유사도가 높은 변수 예시 (variable -> {label}) 를 동적으로 선택하여 프롬프트에 포함시킵니다.
  • 이는 반복되는 자연어 (상수) 를 제거하여 토큰 비용을 절감하면서도, LLM 이 변수 패턴을 더 정밀하게 학습하도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 전략 제안: 로그 파싱에서 소홀히 하던 '변수 정보'의 힘을 재발견한 최초의 **변수 중심 LLM 기반 파서 (VarParser)**를 제안했습니다.
2. 결과 무결성 향상: 변수 단위를 캐싱하여 변수의 유형, 구체적인 인스턴스, 빈도 등을 보존함으로써 시스템 가시성 (System Visibility) 을 크게 향상시켰습니다.
3. 성능 및 비용 최적화: 대규모 공개 데이터셋 (Loghub-2.0) 을 통한 실험에서 기존 최첨단 방법들보다 높은 정확도를 달성하면서도, LLM 호출 횟수와 토큰 비용을 대폭 절감했습니다.

4. 실험 결과 (Results)

Loghub-2.0 의 14 개 데이터셋을 대상으로 한 광범위한 평가 결과:

• 정확도 (Accuracy):
  • 평균 Grouping Accuracy (GA) 92.2%, Parsing Accuracy (PA) 91.8%, Template Accuracy (FTA) 82.6% 를 기록하여 모든 베이스라인 (문법 기반, 의미 기반, 기존 LLM 기반) 을 상회했습니다.
  • 특히 가장 엄격한 지표인 FTA 에서 기존 방법들보다 평균 5.8%p 이상 높은 성능을 보였습니다.
• 효율성 (Efficiency):
  • 로그 샘플링 속도는 LILAC 대비 평균 2.3 배 빨랐습니다.
  • 로그 파싱 시간은 LILAC 대비 51.2% 단축되었습니다.
• 비용 (Cost):
  • LLM 호출 시 소모되는 총 토큰 수는 LILAC 대비 평균 56.1% 감소했습니다.
  • LogBatcher 대비도 토큰 사용량을 13.0% 절감하여 비용 효율성이 뛰어났습니다.
• 모델 적응성: GPT-3.5-turbo, Llama3-70b, Qwen-plus 등 다양한 LLM 에서 일관된 높은 성능을 보여주었습니다.

5. 의의 및 결론 (Significance)

VarParser 는 로그 파싱 분야에서 변수 정보의 잠재력을 체계적으로 활용함으로써, LLM 기반 파싱의 주요 병목 현상인 '비용', '효율성', '정확도' 문제를 동시에 해결했습니다.

• 기술적 의의: 상수 중심의 기존 패러다임을 탈피하여 변수 기반의 그룹링, 캐싱, 프롬프트 엔지니어링을 통합한 새로운 아키텍처를 제시했습니다.
• 실용적 의의: 대규모 로그 스트림 환경에서도 실시간으로 처리가 가능하며, 파싱 결과에 풍부한 변수 정보를 포함시켜 엔지니어의 장애 진단 및 시스템 모니터링 능력을 향상시킵니다.

이 연구는 LLM 을 활용한 소프트웨어 공학 (Log Analysis) 분야에서 비용 효율적이고 정확한 솔루션을 제공하는 중요한 이정표가 될 것으로 기대됩니다.