기술 요약: 802.11 패킷 캡처의 증거 기반 앙상블 진단

문제 정의

802.11 패킷 캡처(PCAP)로부터 연결 문제를 진단하는 작업은 심도 있는 프로토콜 전문 지식을 요구하는 자원 집약적인 과업이다. 이는 엔지니어마다 속도와 일관성이 결여되어 있으며 확장성이 부족하다. 대규모 언어 모델(LLM)은 자동화를 위한 경로를 제시하지만, 단일 패스(single-pass) LLM 분석은 세 가지 결정적인 실패 모드를 보인다:

1. 환각적 완성(Hallucinated Completion): 모델이 존재하지 않는 프로토콜 이벤트를 추론하여(예: 캡처가 교환 도중 잘렸음에도 핸드셰이크 실패를 가정함) 공백을 메우려 하며, 이는 위양성(false positive)으로 이어진다.
2. 보정되지 않은 확신(Uncalibrated Confidence): 모델은 진단 난이도와 상관없이 인위적으로 높은 값(예: 0.95)에 군집화된 자기 보고식 확신 점수를 생성하여, 라우팅 결정에 무용하게 만든다.
3. 골든 레퍼런스 편향(Golden Reference Bias): 동일한 LLM 제품군에 의해 공동 생성된 "골든" 레퍼런스에 의존하는 평가 프레임워크는 진단적 오류가 아닌 문체적 차이를 처벌하는 순환적 편향을 유발한다.

또한, 나이브한 앙상벨 방식(다수결 투표)은 진단 맥락에서 종종 성능을 저하시킨다. LLM은 모호한 상황에서 "문제 없음" 또는 "증거 불충분"이라는 보수적인 경향을 보이므로, 다수결 투표는 이러한 보수적인 판결을 증폭시켜 앙상블이 단일 패스 모델보다 확인된 실패를 더 자주 놓치게 만든다.

방법론: PROBE 파이프라인

저자들은 결정론적이고 증거에 기반한 추론을 통해 이러한 실패를 바로잡기 위해 설계된 다단계 진단 파이프라인인 PROBE(Protocol Reasoning Over evidence-Based Ensembles)를 소개한다. 이 시스템은 5단계로 작동한다:

1. PCAP 정규화: 바이너리 PCAP 파일을 tshark와 PDML를 사용하여 결정론적이고 구조화된 텍text 표현으로 변환한다. 이는 프레임 번호, 타임스탬프, 프로토콜 유형, 상태 코드 및 RF 메타데이터를 포함한 프레임 수준의 검증 가능성을 보존한다. 시스템이 내리는 모든 사실적 주장은 이 텍스트에 대해 기계적으로 검증될 수 있다.
2. 초안 앙상블 생성: 시스템은 $N \times M$ 행렬의 후보 진단을 생성한다.
   • 실행 다양성 ($N$): 서로 다른 분석 프롬프트(예: "근본 원인 집중", "프로토콜 시퀀스 이상", "증거 우선")를 사용하는 여러 독립적인 실행을 통해 추론 안정성을 테스트한다.
   • 후보 다양성 ($M$): 각 실행은 내부적 모호성을 드러내기 위해 여러 가설을 생성한다.
   • 점진적 은폐(Progressive Obfuscation): 주요 필드(예: RSSI, 상태 코드)를 후속 실행에서 마스킹하여, 진단이 얕은 키워드 매칭이 아닌 구조적 프로토콜 로직에 의존하도록 보장한다.
   • 교차 모델 제2의 의견: 다른 아키텍처 제품군(예: Llama 3.3과 함께 Claude Sonnet 사용)의 독립적인 모델이 상관관계가 없는 관점을 제공한다.
3. 판결 분류 체계: 후보들은 엄격한 4가지 값의 분류 체계를 선택해야 한다: CONFIRMED_ISSUE(확인된 이슈), PLAUSIBLE_ISSUE(개연성 있는 이슈), INSUFFICIENT_EVIDENCE(증거 불충분 - 잘린 캡처에 중요), NO_ISSUE_FOUND(발견된 이슈 없음).
4. 증거 기반 화해(Reconciliation): 다수결 투표 대신, 전담 화해 모델(예: Claude Opus)이 모든 후보를 원본 PCAP 텍스트 및 선택적 인간 전문가(SME) 주석과 대조하여 검토한다. 화해 모델은 최선의 근거를 가진 진단을 합성하며, 모델의 주장과 패킷 증거를 명시적으로 비교하고 보수적이거나 환각적인 결론을 무효화한다.
5. 결정론적 신뢰도 점수: LLM의 자기 평가에 의존하지 않고 복합 확신 점수($C$)를 계산한다. 이는 세 가지 측정 가능한 신호로부터 도출된다:
   • 증거 유효성 ($E$): 인용된 프레임이 PCAP에 존재하는지, 그리고 증거 항목이 판결을 논리적으로 뒷받침하는지(증거 불충분 판결을 위한 "기여" 증거 포함)를 검증한다.
   • 실행 간 안정성 ($S$): 독립적인 실행 간의 핵심 프레임 및 판결에 대한 일치도를 측정한다.
   • 교차 모델 합의 ($A$): 기본 앙상블과 제2의 의견 모델 간의 수렴도를 측정한다.

주요 기여

1. 다단계 앙상블 파이프라인: PROBE는 다양한 가설을 생성하고, 투표수가 아닌 패킷 증거에 대해 후보를 평가하는 공식적인 화해 단계를 적용한다. 여기에는 "지지하는 증거"의 정의가 진단 결론에 따라 적응하는(예: 프레임의 부재가 증거 불충분 판결을 뒷받침함) 판결 인식 증거 프레임워크가 포함된다.
2. 결정론적 신뢰도 점수: 시스템은 증거 유효성, 안정성 및 교차 모델 합의로부터 도출된 복합 점수를 도입한다. 이를 통해 보정되지 않은 LLM 자기 보고식 확신을 제거하고, 인간 검토로의 원칙적인 에스컬레이션을 가능하게 한다.
3. 모델 불가지론적 평가 프레임워크: 저자들은 필드별 단언 매칭(assertion matching)에 기반한 평가 방법을 제안한다. 이는 검증 가능한 사실(프레임 번호, 프로토콜 유형, 근본 원인 주장)을 서사적 스타일과 분리하여, 특정 모델에 의해 공동 생성된 골든 레퍼런스의 순환적 편향을 제거한다.

실험 결과

87개의 엔터프라이즈 Wi-Fi 캡처에서 추출된 104개의 캡처-검토 쌍을 대상으로 평가하였다:

• 성능: 단일 패스 LLM 분석(Config B)은 가중 F1 점수 0.912를 달성하여, 프레임 커버리지에서는 인간 SME 베이스라인(0.871)을 능가했으나 결정적인 진단 프레임을 35%의 경우에서 놓쳤다.
• 앙상블 실패: 나이브한 다수결 투표(Config D)는 성능 저하를 일으켜 0.842로 떨어졌는데, 이는 앙상블이 보수적인 "문제 없음" 판결로 수렴하여 확인된 실패의 50%를 놓쳤기 때문이다.
• 화해 성공: 화해 단계를 포함하는 것(Config F, Full PROBE)은 성능을 0.957로 높였으며, 96%의 자동 수락률을 달성했다. 화해 모델은 앙상블에 의해 투표 탈락했던 올바른 소수 진단을 성공적으로 복구했다.
• 확신도 보정: LLM 자기 보고식 확신은 정보 가치가 없었다(71%의 값이 정확히 0.95였다). 결정론적 복합 점수는 더 넓은 범위에 분포했지만, 화해 모델이 매우 효과적이어서(오류율 4%) 결과의 변동성이 부족했기 때문에 현재 데이터셋에서 정확도를 예측하는 데는 예측력이 없었다. 대신, 낮은 확신도는 캡처의 난이도/모호성의 지표 역할을 했다.
• 비용 효율성: 화해 단계가 비용을 지배한다(캡처당 약 $0.345), 반면 앙상블 다양성은 비용을 거의 추가하지 않는다. Config C(원샷 + 화해)는 최적의 비용 효율 비율(0.964 Wt F1)을 제공했으며, Config F는 23%의 비용 프리미엄을 지불하고 견고함과 신뢰도 신호를 제공했다.

의의 및 주장

논문은 소스 증거에 대한 화해가 앙상블의 크기나 모델의 다양성이 아니라, 결정적인 품질 레버라고 주장한다. 핵심적인 구조적 통찰은 원본 데이터에 접근할 수 있는 판사 모델이, 독립적으로 생성된 후보 세트에서 올바른 가설을 선택할 수 있다는 것이다. 설령 그 후보들의 대다수가 틀렸더라도 그러하다.

저자들은 다음과 같은 몇 가지 광범위한 시사점을 강조한다:

• 진단적 추론 vs 자기 일관성: 표준적인 자기 일관성(다수결 투표)은 보수적 판결 편향 때문에 진단 작업에 역효과를 낸다. 증거 기반 화해가 필수적인 대안이다.
• 부재로서의 증거: 기대되는 데이터의 부재를 유효한 증거로 취급하는 프레임워크는 불완전하거나 잘린 트레이스를 처리하는 데 중요하다.
• 평가 무결성: LLM에 의해 공동 생성된 골든 레퍼런스는 순환적 편향을 피하기 위해 단언 기반 평가를 필요로 한다.
• 확신도 재프레임화: 매우 효과적인 진단 파이프라인에서, 확신도는 출력 필터링을 위한 품질 게이트가 아니라 데이터의 어려움(데이터 보강을 위한)을 나타내는 지표로 재프레임화되어야 한다.

저자들은 신뢰할 수 있는 자동 진단이 단일 우수 모델이 아니라, 가설 생성과 증거 기반 평가를 분리하는 원칙적인 아키텍처를 통해 달성 가능하다고 결론짓는다. 그들은 이 시스템이 802.11에 대해 입증되었지만, 이 방법론은 구조적이고 결정론적인 그라운드 트루스가 있는 모든 도메인(예: 의료 영상, 금융 감사, 법률 사례 분석)으로 일반화될 수 있다고 언급한다.