Exploring Semantic Labeling Strategies for Third-Party Cybersecurity Risk Assessment Questionnaires

Este artigo investiga estratégias de rotulagem semântica para questionários de avaliação de riscos de terceiros, demonstrando que um pipeline híbrido semi-supervisionado (SSSL) que combina clustering, rotulagem por LLM em subconjuntos representativos e propagação de rótulos pode melhorar a recuperação de controles de segurança com menor custo e uso de LLM em comparação com métodos diretos.

O essencial

Imagine que você é um gerente de segurança de uma grande empresa. Antes de contratar um novo fornecedor (como uma empresa de nuvem ou um software de gestão), você precisa fazer uma lista de perguntas para garantir que eles são seguros. Essa lista é chamada de "Questionário de Avaliação de Risco".

O problema é que sua empresa tem um arquivo gigante com milhares de perguntas antigas, acumuladas ao longo dos anos. Algumas estão em português, outras em inglês, algumas são muito técnicas e outras são vagas. Quando você precisa montar um novo questionário para um fornecedor específico, você tem que vasculhar esse arquivo manual e cansativamente, procurando perguntas que façam sentido. É como tentar achar uma agulha em um palheiro, mas o palheiro é um oceano de papel.

A maioria dos computadores tenta resolver isso apenas olhando para as palavras. Se você digita "senhas", o computador busca tudo que tem a palavra "senha". Mas e se a pergunta for sobre "como você protege as senhas" e o computador trouxer uma pergunta sobre "como você cria senhas"? São coisas diferentes! O computador entende as palavras, mas não o sentido ou a intenção por trás delas.

A Solução Proposta: O "Etiquetador Inteligente"

Os autores deste artigo propuseram uma nova maneira de organizar esse arquivo gigante. Eles chamam de SSSL (uma sigla complexa, mas vamos simplificar). A ideia é criar etiquetas semânticas (rótulos de significado) para cada pergunta, em vez de apenas ler o texto.

Pense nisso como organizar uma biblioteca de livros:

• O jeito antigo: Você tenta achar um livro procurando apenas pelo título que você lembra. Se você esqueceu uma palavra, não acha nada.
• O jeito novo: Você coloca uma etiqueta na lombada de cada livro dizendo: "Este livro é sobre Aventuras Espaciais e Viagens no Tempo". Agora, se você pedir "livros de viagem no tempo", o sistema sabe exatamente o que entregar, mesmo que a palavra "tempo" não esteja no título.

Como Funciona a Mágica? (A Analogia do "Chef e o Estagiário")

O sistema usa uma Inteligência Artificial muito avançada (chamada LLM, como o ChatGPT), mas usá-la para ler cada uma das milhares de perguntas seria caro e lento (como pagar um Chef de Cozinha estrelado para fazer o café de 1000 pessoas).

A solução deles é um trabalho em equipe inteligente:

1. O Agrupamento (A Prateleira): Primeiro, o sistema usa matemática para agrupar perguntas que parecem semelhantes, como colocar livros do mesmo gênero na mesma prateleira.
2. O Chef (O LLM): Em vez de perguntar ao Chef sobre cada livro, ele pega uma prateleira inteira (um grupo de perguntas parecidas) e diz: "Chef, olhe para esses 50 livros juntos. Que etiqueta única podemos colocar em todos eles?". O Chef cria uma etiqueta perfeita (ex: "Controle de Acesso"). Isso é muito mais barato e rápido.
3. O Estagiário (O kNN): Agora, para as novas perguntas que chegam, o sistema não precisa chamar o Chef de novo. Ele olha para o novo livro, vê em qual prateleira ele se encaixa melhor e pega a etiqueta que já está lá. É como um estagiário que aprendeu com o Chef e agora consegue etiquetar os livros novos sozinho, muito rápido e de graça.

Os Resultados: O que eles descobriram?

• Economia Gigante: Ao usar essa técnica híbrida (Chef + Estagiário), eles conseguiram reduzir o custo e o tempo de processamento em mais de 30% a 40%. O "Estagiário" (a parte automática) é instantâneo.
• Precisão Melhorada: Quando você busca por uma intenção específica (ex: "quero saber se eles têm um plano de emergência"), o sistema com etiquetas encontra as perguntas certas muito melhor do que o sistema antigo que só olhava para palavras soltas.
• O Desafio: O "Estagiário" às vezes comete erros se a pergunta nova for muito diferente das que ele já viu (como tentar ensinar um estagiário de culinária italiana a fazer sushi sem treinamento). Mas, mesmo assim, ele é muito mais eficiente do que chamar o Chef para tudo.

Resumo Final

Este artigo apresenta uma maneira inteligente de organizar o caos de perguntas de segurança cibernética. Em vez de tentar ler tudo do zero toda vez, eles criam um sistema de etiquetas de significado usando uma IA poderosa apenas para criar o modelo, e depois usam um método matemático rápido para aplicar essas etiquetas em milhares de perguntas novas.

É como transformar uma biblioteca bagunçada em um sistema de busca inteligente onde você não precisa saber o título exato do livro, apenas o que você quer ler, e o sistema te entrega o que precisa, rápido e sem gastar uma fortuna.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Exploring Semantic Labeling Strategies for Third-Party Cybersecurity Risk Assessment Questionnaires", estruturado conforme solicitado:

1. O Problema

A Avaliação de Riscos de Terceiros (TPRA - Third-Party Risk Assessment) é uma prática fundamental na gestão de riscos cibernéticos, envolvendo a seleção de questionários baseados em padrões como ISO/IEC 27001 e NIST. No entanto, organizações enfrentam um gargalo operacional significativo:

• Seleção Manual e Repetitiva: Repositórios de perguntas de conformidade são grandes, desestruturados e acumulados ao longo do tempo. A seleção de perguntas relevantes para um fornecedor específico é feita manualmente, sendo demorada e difícil de escalar.
• Limitações da Recuperação por Similaridade: Abordagens automatizadas atuais baseiam-se em similaridade textual (ex: embeddings densos, similaridade de cosseno). Embora eficazes para encontrar tópicos relacionados, elas falham em capturar o escopo implícito da avaliação (ex: verificação de existência vs. aplicação em sistemas críticos) e o domínio de controle específico (ex: controle de acesso, resposta a incidentes). Isso resulta em perguntas genéricas que não alinham com os objetivos reais da auditoria.
• Custo e Inconsistência do Uso de LLMs: Embora os Grandes Modelos de Linguagem (LLMs) possam gerar rótulos semânticos legíveis sem taxonomias pré-definidas, usá-los para rotular individualmente milhares de perguntas é proibitivamente caro, lento e sensível a variações no prompt, gerando inconsistências.

2. Metodologia: O Framework SSSL

Os autores propõem um framework híbrido de Rotulagem Semântica Semi-Supervisionada (SSSL) que combina agrupamento não supervisionado, uso estratégico de LLMs e aprendizado de máquina clássico. O pipeline consiste em três fases principais:

A. Fase de Anotação (Descoberta de Rótulos)

1. Embeddings e Agrupamento Possibilístico: As perguntas não rotuladas são convertidas em vetores densos usando um modelo de sentence embedding pré-treinado. Em vez de agrupamento rígido, utiliza-se o Agrupamento C-Means Possibilístico (PCM). O PCM permite que uma pergunta pertença a múltiplos clusters com diferentes graus de pertinência, capturando melhor a sobreposição de conceitos em conformidade.
2. Detecção Automática de Limiar: Um algoritmo de "cotovelo" (elbow detection) é aplicado automaticamente para definir limiares de pertinência, evitando ajustes manuais.
3. Rotulagem Assistida por LLM (Nível de Cluster): Em vez de chamar o LLM para cada pergunta, ele é invocado uma vez por cluster. O LLM analisa o contexto coletivo das perguntas do cluster e gera um conjunto pequeno de rótulos semânticos reutilizáveis (ex: "Controle de Acesso", "Resposta a Incidentes").
4. Agregação: Cada pergunta herda a união dos rótulos de todos os clusters aos quais pertence.

B. Fase de Previsão (Propagação de Rótulos)

Para novas perguntas ou para escalar o repositório sem novos chamados ao LLM:

• Utiliza-se um classificador k-Nearest Neighbors (kNN) no espaço de embeddings.
• Para uma nova pergunta, os k vizinhos mais próximos no repositório rotulado são encontrados.
• Os rótulos desses vizinhos são agregados por votação. Se um rótulo receber votos suficientes (≥2), ele é atribuído. Caso contrário, a pergunta é marcada como Out-of-Distribution (OOD) e enviada para o LLM como fallback.

C. Fase de Recuperação Baseada em Rótulos

• Ao invés de buscar similaridade direta entre a consulta do usuário e o texto da pergunta, o sistema busca no espaço de rótulos.
• A consulta do usuário é convertida em um embedding e comparada com os embeddings dos rótulos associados a cada pergunta.
• Isso permite recuperar perguntas que compartilham o mesmo domínio de controle e escopo de avaliação, mesmo que a redação textual seja diferente.

3. Principais Contribuições

• Framework SSSL: Uma abordagem híbrida que desacopla a descoberta de rótulos (caro, feito em clusters) da atribuição de rótulos (barato, feito via kNN).
• Agrupamento Possibilístico: Uso de PCM para lidar com a natureza sobreposta de conceitos de conformidade, permitindo que uma única pergunta tenha múltiplos rótulos semânticos.
• Recuperação Orientada a Rótulos: Demonstração de que a recuperação baseada em rótulos semânticos explícitos supera a similaridade textual pura na alinhamento com a intenção de avaliação.
• Código Aberto e Dados: Os autores disponibilizaram uma implementação open-source, datasets e scripts para reprodutibilidade.

4. Resultados Experimentais

Os experimentos foram realizados em questionários de conformidade (incluindo o CAIQ da Cloud Security Alliance e dados sintéticos baseados em ISO 27001).

• Qualidade dos Rótulos:
  • O LLM puro obteve a melhor pontuação em correção (4.8/5), mas o SSSL (fase de cluster) manteve uma consistência extremamente alta (4.8/5) e generalização comparável (4.3/5).
  • A fase de propagação kNN manteve a consistência (4.7/5), embora tenha sofrido queda na correção (1.8/5) e generalização (3.4/5) devido à transferência de rótulos entre padrões com taxonomias não totalmente sobrepostas.
• Eficiência Computacional e Custo:
  • Redução de Tokens: O SSSL reduziu o consumo de tokens em 39,6% (de 57.146 para 34.527) ao rotular clusters em vez de perguntas individuais.
  • Velocidade: A fase de previsão kNN eliminou chamadas ao LLM, reduzindo o tempo de execução de 322s para 0,22s (um speedup de ~1460x) e a energia consumida em ~1500x.
• Qualidade da Recuperação:
  • A recuperação baseada em rótulos semânticos superou tanto a similaridade lexical (BM25) quanto a similaridade semântica pura (Embeddings) em todas as consultas de teste.
  • Em consultas compostas (ex: Backup + Monitoramento), a abordagem com rótulos atingiu 75 pontos, contra 70 da similaridade semântica e 58 do BM25.

5. Significado e Conclusão

O trabalho demonstra que é possível criar um pipeline de rotulagem escalável e de baixo custo para repositórios de conformidade cibernética, superando as limitações de custo e consistência do uso exclusivo de LLMs.

• Impacto Prático: Permite que organizações automatizem a seleção de questionários de TPRA, garantindo que as perguntas selecionadas correspondam não apenas ao tópico, mas ao escopo e domínio de controle desejados.
• Compromisso (Trade-off): Embora a propagação kNN possa sofrer com a "deriva semântica" quando aplicada entre padrões diferentes (ex: ISO vs. NIST), ela oferece valor prático imediato para atribuição rápida de rótulos, com a possibilidade de correção humana pontual.
• Futuro: Os autores planejam estender o framework para a geração automática de respostas a questionários, utilizando os rótulos semânticos induzidos para alinhar as respostas da organização com múltiplas avaliações de forma consistente e auditável.