기술 요약: Cross-Vendor Sola ISPM 벤치마크

문제 정의

멀티 클라우드 및 SaaS 아키텍처의 급격한 확산은 Identity Security Posture Management(ISPM)를 근본적으로 크로스 벤더(cross-vendor) 과제로 변화시켰습니다. 권한 상승 경로(privilege escalation paths)나 설정 오류와 같은 핵심 보안 리스크는 서로 연동되도록 설계되지 않은 이질적인 ID 제공업체(IdP), 클라우드 서비스 제공업체(CSP), 그리고 생산성 도구 전반에 걸쳐 나타납니다. 대규모 언어 모델(LLM)이 보안 운영에 점점 더 많이 배치되고 있지만, 이 분야에는 에이전트형 AI가 이러한 파편화된 경계를 가로질러 신뢰할 수 있는 추론을 수행할 수 있는지 평가할 수 있는 표준화되고 데이터에 기반한 벤치마크가 부족합니다.

잘 정의된 단일 데이터베이스 스키마와 명시적인 외래 키(foreign key)를 사용하는 Spider 2.0(text-to-SQL용)과 같은 기존 벤치마크와 달리, 크로스 벤더 ISPM은 공유 스키마가 없는 불연속적인 시스템을 탐색해야 합니다. 이는 "상관관계 격차(Correlation Gap)"를 생성하며, 여기서 에이전트는 명시적인 관계 메타데이터 없이도 멀티 홉 엔티티 해소(예: 특정 Okta 사용자 아이덴티티가 특정 AWS IAM 역할에 해당함을 추론하는 것)를 수행해야 합니다. 현재의 평가 방식은 에이전트가 보안 결론에 도달하기 위해 필요한 정확한 지원 엔티티, 조인(join) 관계, 그리고 교차 플랫폼 증거를 재구성하는 능력을 측정하지 못합니다.

방법론

Cross-Vendor Slu ISPM 벤치마크

이 평가 공백을 해결하기 위해 저자들은 8개의 서로 다른 플랫폼으로 구성된 라이브 통합 엔터프라이즈 환경에서 배포되는 50개의 데이터 기반 태스크로 구성된 프로덕션급 벤치마크를 도입했습니다.

• Identity & HR: Okta, Azure Active Directory, HiBob (HRIS).
• Cloud & Infrastructure: AWS, Google Cloud Platform (GCP), MongoDB Atlas.
• Productivity & DevOps: Google Workspace, GitHub.

이 벤치마크는 MFA 우회 취약점, 페더레이션된 테넌트 전반의 휴면 계정 확산, 멀티 홉 권한 상승 벡터를 포함한 핵심 크로스 벤더 유스케이스를 다룹니다.

질문 생성 파이프라인:
50개의 태스크는 다음과 같은 반복적인 멀티 에이전트 파이프라인을 통해 구축되었습니다:

1. 생성(Generation): 웹 검색 기능이 탑재된 스키마 인지 생성 에이전트가 전문가가 정의한 보안 테마를 바탕으로 후보 자연어 질문과 SQL 쿼리를 제안합니다.
2. 필터링(Filtering): SQL 실행에 실패하거나 라이브 환경에서 결정론적으로 답변할 수 없는 후보들을 자동 실행 필터를 통해 제거합니다.
3. 정제(Refinement): "Critic-Composer" 루프가 전문가가 정의한 기준(기술적 정확성, 운영 현실성, PІI 준수)에 따라 질문과 쿼리를 반복적으로 정제합니다.
4. 검증(Validation): 인간 사이버 보안 전문가가 최종 검증을 수행하여 의미론적 고유성과 운영 현실성을 보장합니다.

평가 프레임워크

저자들은 최종 답변의 정확성뿐만 아니라 추론 체인의 품질을 측정하는 포괄적인 평가 프레임워크를 제안합니다. 이 프레임워크는 LLM-as-a-Judge 방식과 이중 심판 합의 메커니즘(Anthropic Claude Sonnet 4.6 및 OpenAI GPT-4.1) 및 결정론적 구조적 지표를 활용합니다.

주요 지표:

• 답변 품질: AnswerCorrectnessVsGT(의미적 동등성), AnswerVerdictCorrectnessVsGT(이진 예/아니오 판정), SuccessRate(성공률), FailureRate(실패율).
• 검색 및 컨텍스트 활용: ContextualRelevancy(컨텍스트 관련성), RetrievalUseQuality(검색 활용 품질), EvidenceCompletenessVsGT(증거 완결성).
• 추론 품질: ReasoningUtility(해결을 향한 진전도).
• SQL 품질: SQLSemanticAppropriateness(SQL 의미론적 적절성) 및 SQLEquivalenceVsGT(SQL 동등성).
• 결정론적 구조적 지표: 정답(Ground Truth)과 비교한 테이블(Tables) 및 **조인(Joins)**에 대한 정밀도(Precision), 재현율(Recall), F1 점수. 이를 통해 에이전트가 필요한 데이터 소스와 크로스 벤더 조인 경로를 올바르게 식별했는지 확인합니다.

실험 설정

본 연구는 세 가지 프론티어 LLM(GPT-5.5, Gemini 3.1 Pro, Claude 4.6 Sonnet, Claude 4.8 Opus)을 대상으로 다섯 가지 별도의 컨텍스트 구성 하에서 Sola AI Agent를 평가합니다:

1. No Context: 블라인드 자율 탐색.
2. Schema Only: 원시 테이블 정의.
3. Schema + Graph: 스키마와 Sola의 Security Graph(명시적 크로스 벤더 조인 경로) 결합.
4. Schema + Examples: 스키마와 퓨샷(few-shot) text-to-SQL 예시 결합.
5. Full Context: 스키마, Security Graph, 예시 모두 포함.

에이전트는 **전체 경로 탐색 모드(full-path exploration mode)**로 작동하며, 컨텍스트 기반의 영향을 격리하기 위해 반복적인 추론과 단계별 저널링(step-journaling)을 수행합니다.

주요 기여

1. Cross-Vendor ISPM 질문 세트: 8개의 통합 엔터프라이즈 플랫폼에 걸친 멀티 홉 엔티티 해소 및 교차 시스템 데이터 상관관계를 요구하는 50개의 표준화된 태스크 세트로, 실제 페더레이션 아이덴티티 조사 워크플로우를 나타냅니다.
2. 증거 기반 측정 프레임워크: 단순한 답변 정확도를 넘어 구조적 조인 재구성, 멀티 스키마 엔티티 해소, 검색 활용을 포함한 전체 추론 체인을 평가하는 새로운 평가 세트입니다.
3. 컨텍스트 기반 그라운딩에 대한 절제 연구(Ablation Study): 구조적 관계 컨텍스트(특히 그래프 토폴로지와 스키마 메타데이터)가 크로스 벤더 추론 충실도와 실행 효율성에 어떻게 영향을 미치는지에 대한 체계적인 분석을 제공합니다.

결과

컨텍스트에 따른 성능 향상

연구 결과, 에이전트에 구조적 관계 컨텍스트를 풍부하게 제공하는 것이 성능을 크게 향상시키는 것으로 나타났습니다:

• 답변 정확도: Full Context 구성에서 가장 우수한 모델인 Claude 4.8 Opus는 **AnswerCorrectnessVsGT 점수 78%**를 달성하였으며, 이는 No Context 베이스라인(58%) 대비 약 **34%**의 상대적 개선입니다.
• 실패 감소: Full Context 구성은 No Context 베이스라인의 28~38%와 비교하여 FailureRate(완전한 부정확성)를 **4%**로 낮추었습니다.
• 효율성: 컨텍스트를 통한 에이전트 강화는 모든 모델에서 평균 탐색 쿼리 수를 약 70% 감소시켰습니다. 이는 명시적인 관계 컨텍스트가 비효리적인 시행착오 방식의 탐색을 목표 지향적인 그래프 인식 실행 전략으로 전환함을 의미합니다.

구조적 충실도

Security Graph(크로스 벤더 토폴로지)의 포함은 성능 향상의 주요 동인으로 식별되었습니다.

• 조인 충실도(Join Fidelity): 그래프 지식이 주입되었을 때 모델들의 JoinsF1 점수가 명확한 상승 곡선을 보였습니다. 예를 들어, Gemini의 조인 충실도는 Schema Only에서의 0.55에서 Full Context에서는 0.68로 급증했습니다.
• 추론 vs 증거: AnswerVerdictCorrectness(고수준 보안 결론)와 AnswerCorrectness(전체 의미론적 증거) 사이의 격차에 대한 중요한 발견이 있었습니다. No Context 상황에서도 모델들은 종종 높은 Verdict 점수(예: 리스크가 존재함을 올바르게 식별)를 얻었지만, 정밀한 지원 엔티티와 조인 경로를 재구성하는 데는 실패했습니다. Full Context는 이 격차를 크게 좁혔으며, 이는 프론티어 LLM의 주요 한계가 추상적 추론 능력이 아니라, 엔티티 해소 및 증거 그라운딩을 위한 명시적 관계 컨텍스트의 가용성에 있음을 입증했습니다.

모델 비교

• Claude 4.8 Opus는 일관되게 다른 모델들을 압도하며, Full Context 하에서 가장 높은 정확도와 가장 낮은 실패율을 기록했습니다.
• GPT-5.5는 높은 실행 효율성(가장 적은 쿼리 수)을 보여주었으나, 최고 수준의 Claude 모델들에 비해 의미론적 정확도는 낮았습니다.
• Gemini 3.1 Pro는 컨텍스트 강화에 강한 민감도를 보였으나, 추가적인 메타데이터 레이어가 한계 효용을 보이는 컨텍스트 포화 임계점에 도달하는 경향을 보였습니다.

의의 및 주장

본 논문은 Cross-Vendor Sola ISPM 벤치마크가 에이전트 시스템이 파편화된 시스템 간의 "상관관계 격차"를 신뢰성 있게 탐색할 수 있는지 평가할 수 있는 최초의 표준화된 수단을 제공한다고 주장합니다.

저자들은 다음과 같이 단언합니다:

1. 보조 없는 LLM은 파편화된 시스템 전반의 신뢰할 수 있는 엔터프라이즈 데이터 탐색에 불충분합니다.
2. 프론티어 LLM은 상당한 잠재적 보안 추론 능력을 보유하고 있으나, 크로스 벤더 분석을 수행하는 능력은 구조적 관계 컨텍스트의 부재에 의해 근본적으로 제약됩니다.
3. 컨텍스트 오케스트레이션이 핵심입니다: 풍부한 메타데이터(특히 관계 스키마, 시맨틱 그래프, 퓨샷 예시)를 주입하는 것은 text-to-SQL 실행을 근본적으로 안정화하며, 이는 정확도 승수이자 운영 가속기 역할을 합니다.
4. 구조적 그래프는 필수적입니다: 구조적 그래프 토폴로지의 통합은 크로스 벤더 환경에서 text-to-SQL 정확도와 런타임 효율성 사이의 최적의 균형을 달성하는 데 보편적으로 필수적입니다.

본 연구는 결론적으로, 미래의 ISPM 평가는 고립된 플랫폼 체크를 넘어, 이질적인 생태계 전반에서 증거를 재구성하는 에이전트의 능력을 평가하는 방향으로 나아가야 하며, 이 능력은 현재 명시적이고 도메인 인지적인 컨텍스트 오케스트레이션에 의존하고 있다고 밝히고 있습니다.