Resumo Técnico: Benchmark Sola ISPM Cross-Vendor

Declaração do Problema

A rápida proliferação de arquiteturas multi-nuvem e SaaS transformou o Gerenciamento de Postura de Segurança de Identidade (ISPM) em um desafio fundamentalmente cross-vendor (entre diferentes fornecedores). Riscos de segurança críticos, como caminhos de escalonamento de privilégios e configurações incorretas, atravessam cada vez mais Provedores de Identidade (IdPs), Provedores de Nuvem (CSPs) e suítes de produtividade que nunca foram projetados para interoperar. Embora os Modelos de Linguagem de Grande Escala (LLMs) estejam sendo cada vez mais implantados para operações de segurança, o campo carece de um benchmark padronizado e fundamentado em dados para avaliar se a IA agêntica pode realizar um raciocínio confiável através dessas fronteiras fragmentadas.

Benchmarks existentes, como o Spider 2.0 para text-to-SQL, operam sobre esquemas de banco de dados únicos e bem definidos com chaves estrangeiras explícitas. Em contraste, o ISPM cross-vendor exige navegar por sistemas desarticulados que carecem de esquemas compartilhados. Isso cria um "Gap de Correlação", onde um agente deve realizar a resolução de entidades em múltiplos saltos (ex: inferir que uma identidade de usuário do Okta corresponde a um papel específico do AWS IAM) sem metadados relacionais explícitos. As avaliações atuais falham em medir a capacidade de um agente em reconstruir as entidades de suporte precisas, os relacionamentos de junção (join) e as evidências multiplataforma necessárias para agir sobre conclusões de segurança.

Metodologia

O Benchmark Cross-Vendor Sola ISPM

Para abordar este vazio de avaliação, os autores introduzem um benchmark de nível de produção composto por 50 tarefas fundamentadas em dados. Estas tarefas são implantadas em um ambiente empresarial integrado e real, compreendendo oito plataformas distintas:

• Identidade e RH: Okta, Azure Active Directory, HiBob (HRIS).
• Nuvem e Infraestrutura: AWS, Google Cloud Platform (GCP), MongoDB Atlas.
• Produtividade e DevOps: Google Workspace, GitHub.

O benchmark cobre casos de uso cross-vendor críticos, incluindo vulnerabilidades de bypass de MFA, proliferação de contas inativas em tenants federados e vetores de escalonamento de privilégios de múltiplos saltos.

Pipeline de Geração de Perguntas:
As 50 tarefas foram construídas via um pipeline multi-agente iterativo:

1. Geração: Um agente generativo ciente do esquema, equipado com capacidades de busca na web, propõe candidatas a perguntas em linguagem natural e consultas SQL baseadas em temas de segurança definidos por especialistas.
2. Filtragem: Um filtro de execução automatizado descarta candidatos onde o SQL falha ao executar ou não pode ser respondido deterministicamente pelo ambiente real.
3. Refinamento: Um loop "Critic-Composer" refina iterativamente perguntas e consultas contra critérios definidos por especialistas (correção técnica, realismo operacional, conformidade de PII).
4. Validação: Um especialista em cibersegurança humana realiza a validação final para garantir unicidade semântica e realismo operacional.

Estrutura de Avaliação

Os autores propõem uma estrutura de avaliação abrangente que mede não apenas a correção da resposta final, mas também a qualidade da cadeia de raciocínio. A estrutura utiliza uma abordagem de LLM-as-a-Judge com um mecanismo de consenso de duplo juiz (Anthropic Claude Sonnet 4.6 e OpenAI GPT-4.1) e métricas estruturais determinísticas.

Métricas Principais:

• Qualidade da Resposta: AnswerCorrectnessVsGT (equivalência semântica), AnswerVerdictCorrectnessVsGT (veredito binário sim/não), SuccessRate (taxa de sucesso) e FailureRate (taxa de falha).
• Recuperação e Uso de Contexto: ContextualRelevancy (relevância contextual), RetrievalUseQuality (qualidade de uso da recuperação) e EvidenceCompletenessVsGT (completude da evidência vs ground truth).
• Qualidade do Raciocínio: ReasoningUtility (progresso em direção à resolução).
• Qualidade do SQL: SQLSemanticAppropriateness (adequação semântica do SQL) e SQLEquivalenceVsGT (equivalência do SQL vs ground truth).
• Métricas Estruturais Determinísticas: Precisão, Recall e scores F1 para Tabelas e Junções (Joins) em comparação com o ground truth, garantindo que o agente identificou corretamente as fontes de dados necessárias e os caminhos de junção cross-vendor.

Configuração Experimental

O estudo avalia o Agente de IA Sola através de três LLMs de fronteira (GPT-5.5, Gemini 3.1 Pro, Claude 4.6 Sonnet e Claude 4.8 Opus) sob cinco configurações de contexto distintas:

1. Sem Contexto: Descoberta autônoma cega.
2. Apenas Esquema: Definições brutas de tabelas.
3. Esquema + Grafo: Esquemas mais o Grafo de Segurança da Sola (caminhos de junção cross-vendor explícitos).
4. Esquema + Exemplos: Esquemas mais exemplos de text-to-SQL de poucos disparos (few-shot).
5. Contexto Total: Esquemas, Grafo de Segurança e Exemplos.

O agente opera em modo de exploração de caminho completo, realizando raciocínio iterativo e registro de etapas (step-journaling) para isolar o impacto do aterramento contextual nas trajetórias de raciocínio explícito.

Principais Contribuições

1. Suíte de Perguntas ISPM Cross-Vendor: Um conjunto padronizado de 50 tarefas que exigem resolução de entidades em múltiplos saltos e correlação de dados entre sistemas distintos em oito plataformas empresariais integradas, representando fluxos de trabalho reais de investigação de identidade federada.
2. Estrutura de Métrica de Aterramento de Evidências: Uma nova suíte de avaliação que analisa toda a cadeia de raciocínio, incluindo reconstrução estrutural de junções, resolução de entidades multi-esquema e utilização de recuperação, indo além da simples correção da resposta.
3. Estudo de Ablação sobre Aterramento Contextual: Uma análise sistemática demonstrando como o contexto relacional estruturado (especificamente a topologia do grafo e metadados de esquema) molda a fidelidade do raciocínio cross-vendor e a eficiência de execução.

Resultados

Ganhos de Desempenho com Contexto

O estudo demonstra que enriquecer os agentes com contexto relacional estruturado melhora significativamente o desempenho:

• Correção de Resposta: Sob a configuração de Contexto Total, o modelo com melhor desempenho (Claude 4.8 Opus) alcançou um score de AnswerCorrectnessVsGT de 78%, um aumento relativo de aproximadamente 34% sobre a linha de base Sem Contexto (58%).
• Redução de Falhas: A configuração de Contexto Total reduziu a FailureRate (imprecisões completas) para 4%, comparado a 28–38% na linha de base Sem Contexto.
• Eficiência: O enriquecimento do agente com contexto reduziu o número médio de consultas de exploração em aproximadamente 70% em todos os modelos. Isso indica que o contexto relacional explícito transforma a exploração ineficiente de tentativa e erro em estratégias de execução direcionadas e conscientes do grafo.

Fidelidade Estrutural

A inclusão do Grafo de Segurança (topologia cross-vendor) foi identificada como o principal motor dos ganhos.

• Fidelidade de Junção: Os modelos mostraram trajetórias claras de ascensão nos scores de JoinsF1 quando o conhecimento do grafo foi injetado. Por exemplo, a fidelidade de junção do Gemini saltou de 0.55 (Apenas Esquema) para 0.68 (Contexto Total).
• Raciocínio vs. Evidência: Uma descoberta crítica é o gap entre AnswerVerdictCorrectness (conclusão de segurança de alto nível) e AnswerCorrectness (evidência semântica completa). Mesmo Sem Contexto, os modelos frequentemente alcançavam altos scores de veredito (ex: identificando corretamente que um risco existia), mas falhavam em reconstruir as entidades de suporte precisas e os caminhos de junção. O Contexto Total reduziu significamente esse gap, provando que a principal limitação dos LLMs de fronteira neste domínio não é a capacidade de raciocínio abstrato, mas a disponibilidade de contexto relacional explícito para resolução de entidades e aterramento de evidências.

Comparação de Modelos

• Claude 4.8 Opus superou consistentemente outros modelos, alcançando a maior precisão e as menores taxas de falha sob Contexto Total.
• GPT-5.5 demonstrou alta eficiência de execução (menor contagem de consultas), mas menor precisão semântica em comparação aos modelos de elite da família Claude.
• Gemini 3.1 Pro mostrou forte sensibilidade ao enriquecimento contextual, mas pareceu atingir um limiar de saturação de contexto onde camadas adicionais de metadados geraram retornos decrescentes.

Significância e Alegações

O artigo afirma que o Benchmark Sola ISPM Cross-Vendor fornece o primeiro meio padronizado de avaliar se sistemas agênticos podem navegar confiavelmente o "Gap de Correlação" em segurança de identidade federada.

Os autores sustentam que:

1. LLMs não assistidos são insuficientes para exploração confiável de dados empresariais através de sistemas fragmentados.
2. LLMs de fronteira possuem uma substancial capacidade latente de raciocínio de segurança, mas sua habilidade de realizar análises cross-vendor confiáveis é fundamentalmente limitada pela falta de contexto relacional estruturado.
3. A orquestração de contexto é crítica: Injetar metadados ricos — especificamente esquemas relacionais, grafos semânticos e exemplares de poucos disparos (few-shot) — estabiliza fundamentalmente a execução de text-to-SQL, atuando tanto como um multiplicador de precisão quanto como um acelerador operacional.
4. Grafos estruturais são essenciais: A integração de topologias de grafos estruturais é universalmente essencial para alcançar o equilíbrio ideal entre a precisão de text-to-SQL e a eficiência de tempo de execução em ambientes cross-vendor.

O trabalho conclui que a avaliação futura de ISPM deve ir além de verificações de plataforma isoladas para avaliar a capacidade do agente em reconstruir evidências através de ecossistemas heterogêneos, uma capacidade que atualmente depende de orquestração de contexto explícita e orientada ao domínio.