🤖 AI

A Framework for Using and Evaluating LLMs as Surrogate Experts in Security Surveys: Reliability, Bias, and Implications

Este artigo apresenta uma estrutura demonstrando que, embora os LLMs possam gerar respostas sintéticas consistentes para questionários de segurança, eles exibem vieses sistemáticos e homogeneização que os tornam adequados para pilotos e geração de hipóteses, mas insuficientes para substituir a elicitação real de especialistas.

Autores originais: Despoina Giarimpampa, Roland Meier, Tegawendé F. Bissyandé, Vincent Lenders, Jacques Klein

Publicado 2026-08-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Despoina Giarimpampa, Roland Meier, Tegawendé F. Bissyandé, Vincent Lenders, Jacques Klein

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo de alto risco da cibersegurança, compreender como os especialistas humanos pensam é crucial. Quando ocorre uma violação de segurança, as decisões tomadas pelos analistas em um Centro de Operações de Segurança (SOC) podem determinar se uma ameaça é contida ou se espalha por uma rede. Para entender esses processos de tomada de decisão, pesquisadores frequentemente dependem de questionários e entrevistas com esses profissionais. No entanto, encontrar especialistas suficientes para responder a esses questionários é notoriamente difícil. Esses especialistas são frequentemente sobrecarregados, lidando com alertas constantes e a ameaça de esgotamento profissional, e muitos trabalham sob regras estritas de confidencialidade que os impedem de compartilhar detalhes sobre seu trabalho diário. Como resultado, os estudos muitas vezes sofrem com amostras pequenas, deixando os pesquisadores com visões incompletas da indústria.

Recentemente, uma nova ferramenta surgiu prometendo resolver essa escassez: modelos de linguagem de grande escala. Estes são programas de computador avançados treinados em vastas quantidades de escrita humana, capazes de gerar textos que soam de forma notavelmente humana. Alguns pesquisadores começaram a se perguntar se essas inteligências artificiais poderiam atuar como substitutos para especialistas reais, preenchendo as lacunas dos dados de pesquisa gerando milhares de respostas sintéticas. A ideia é atraente: se um computador pode imitar um especialista, ele poderia permitir que cientistas testassem suas perguntas, explorassem diferentes cenários e coletassem dados sem precisar rastrear humanos ocupados. Mas uma questão crítica permanece: uma máquina pode realmente pensar como um profissional de segurança ou produz apenas uma imitação convincente que perde a nuance da experiência humana real?

Uma equipe de pesquisadores partiu para responder a essa pergunta, construindo um arcabouço rigoroso para testar se esses modelos artificiais poderiam servir como substitutos confiáveis para especialistas humanos em pesquisas de segurança. Eles não simplesmente fizeram algumas perguntas aos modelos e viram o que acontecia; em vez disso, projetaram um experimento abrangente para ver se as respostas geradas pelo computador resistiam ao escrutínio. Os pesquisadores reuniram dados reais de questionários de seis profissionais de cibersegurança trabalhando em diferentes setores, variando da saúde às finanças. Esses especialistas possuíam diferentes níveis de experiência e ocupavam diferentes cargos, como gestores, analistas e especialistas. Os pesquisadores então pediram a seis modelos de linguagem de grande escala que simulassem esses especialistas específicos, criando personas digitais que correspondiam aos históricos e cargos reais dessas pessoas.

O experimento foi conduzido de três maneiras distintas para testar os modelos por todos os ângos. Primeiro, os pesquisadores pediram aos modelos que agissem como especialistas individuais, tentando replicar as opinições específicas dos humanos reais. Segundo, pediram aos modelos que gerassem os padrões gerais de um grupo inteiro, simulando os resultados agregados de uma pesquisa ampla. Finalmente, testaram os modelos ao longo do tempo, pedindo-lhes que previssem como as opiniões dos especialistas mudaram ao longo de vários anos de dados do mundo real. Durante todo esse processo, os pesquisadores executaram cada simulação múltiplas vezes para verificar se os modelos davam as mesmas respostas ao serem questionados repetidamente, checando a consistência e a estabilidade.

Os resultados revelaram uma lacuna clara e significativa entre as simulações artificiais e a realidade humana. Embora os modelos de linguagem de grande escala fossem notavelmente consistentes consigo mesmos — frequentemente dando a mesma resposta ao serem questionados várias vezes —eles falharam em capturar a verdadeira diversidade do pensamento humano. Especialistas em segurança reais demonstravam uma ampla gama de opiniões; alguns eram confiantes em suas escolhas, enquanto outros eram incertos, e suas respostas variavam dependendo de suas experiências específicas e das pressões únicas de seus locais de trabalho. Em contraste, os modelos tendiam a convergir para uma resposta única, segura e de meio-termo. Eles suavizavam as divergências e incertezas que são naturais aos especialistas humanos, produzindo respostas excessivamente uniformes e polidas.

Quando os pesquisadores compararam a distribuição das respostas dos modelos com os dados reais, os modelos pareciam estar acertando a forma geral dos dados, mas estavam perdendo os detalhes. Eles tendiam a evitar opiniões extremas ou raras, agrupando suas respostas em torno da média. Esse "viés de tendência central" significava que, embora os modelos pudessem gerar um resultado de pesquisa de aparência plausível, eles estavam efetivamente apagando as próprias variações que tornam a expertise humana valiosa. Por exemplo, ao serem questionados sobre os desafios da adoção de novas ferramentas, especialistas reais destacavam obstáculos operacionais específicos e árduos, enquanto os modelos ofereciam dificuldades genéricas, de estilo acadêmico, que careciam da textura da prática real.

O estudo também examinou se esses modelos poderiam acompanhar as mudanças na indústria ao longo do tempo. Os pesquisadores descobriram que os modelos eram amplamente insensíveis ao tempo. Mesmo quando questionados para simular respostas de diferentes anos, os modelos produziam os mesmos padrões estáticos, falhando em refletir a natureza evolutiva das ameaças e práticas de cibersegurança. Isso sugere que os modelos não estão verdadeiramente "aprendendo" ou se adaptando a novas informações da maneira que um especialista humano faria; em vez disso, estão relembrando um conjunto fixo de conceitos que não mudam com o passar do tempo. Essa falta de consciência temporal significa que eles não podem ser confiados para prever como as opiniões dos especialistas podem mudar no futuro ou para refletir com precisão as tendências históricas.

Em última análise, os pesquisadores concluíram que, embora esses modelos de linguagem de grande escala sejam ferramentas poderosas, eles não estão prontos para substituir especialistas humanos em pesquisas de segurança. Os modelos são excelentes para as fases iniciais de um estudo, como ajudar pesquisadores a redigir perguntas de pesquisa, testar se uma pergunta está clara ou gerar cenários hipotéticos para exploração. Eles podem servir como um bom interlocutor para ideias. No entanto, eles nunca devem ser usados para substituir a coleta real de opiniões de especialistas. A natureza única, variada e por vezes contraditória do julgamento humano é algo que não pode ser sintetizado por um algoritmo. Para entender o mundo real da cibersegurança, os pesquisadores ainda devem confiar nos insights complexos, desordenados e inestimáveis dos humanos que vivem e trabalham dentro dele. O estudo serve como um guia vital, garantindo que, à medida que o campo adota novas tecnologias, não perca de vista a expertise humana que permanece como o fundamento da segurança.

Resumo Técnico: Um Framework para o Uso e Avaliação de LLMs como Especialistas Substitutos em Pesquisas de Segurança

1. Declaração do Problema

A pesquisa de segurança, particularmente dentro de Centros de Operações de Segurança (SOCs), depende fortemente da elicitação de especialistas por meio de questionários e entrevistas para compreender os fluxos de trabalho, a tomada de decisão e a maturidade organizacional dos profissionais. No entanto, recrutar especialistas no domínio está se tornando cada vez mais difícil devido à alta carga de trabalho, burnout, escassez de pessoal e restrições de confidencialidade. Esses desafios resultam frequentemente em amostras pequenas, baixas taxas de resposta (média de ~44% para pesquisas online) e insights frágeis.

Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial ao gerar respostas sintéticas em escala, há uma carência crítica de orientação metodológica sobre sua confiabilidade como participantes substitutos. Trabalhos anteriores sugerem riscos que incluem alucinação, concordância exagerada e o suavizamento de discordâncias genuínas. Além disso, as avaliações existentes muitas vezes carecem de comparação rigorosa contra especialistas do domínio, falham em avaliar a estabilidade de execução para execução (run-to-run) ou não consideram a generalização temporal. O problema central abordado é determinar se os respondentes sintéticos podem representar com precisão as perspectivas humanas em pesquisas de cibersegurança ou se introduzem vieses sistemáticos que comprometem a validade da pesquisa.

2. Metodologia

Os autores propõem um framework metodológico geral e reproduzível para avaliar LLMs como participantes substitutos. Este framework é instanciado em três configurações experimentais distintas para avaliar diferentes modos de simulação de pesquisa:

O Framework de Avaliação

O framework consiste em quatro componentes principais:

Representação da Pesquisa: As perguntas são codificadas como itens categóricos, de múltipla escolha ou escala Likert com formatação padronizada.
Enquadramento de Prompt e Condicionamento de Papel: Os prompts definem a tarefa e o formato de resposta, incluindo metadados de persona (ex: função, setor), mas excluem estritamente exemplos de respostas (independência zero-shot) para revelar vieses indutivos inerentes.
Estratégia de Amostragem: Para lidar com a estocasticidade, cada modelo é consultado dez vezes sob condições idênticas por configuração. Isso permite a estimativa de estabilidade, dispersão e variabilidade entre execuções.
Agregação e Representação: As saídas são agregadas usando regras apropriadas para pesquisas (ex: voto de pluralidade para categóricos, mediana para Likert) para formar respostas comparáveis.

Configurações Experimentais

Configuração 1: Simulação de Especialista Individual: Os autores coletaram respostas de seis profissionais de SOC reais (gestores, analistas, especialistas) e as compararam com LLMs instruídos a simular personas de especialistas correspondentes.
Configuração 2: Replicação de Distribuição Agregada: Os LLMs foram incumbidos de gerar distribuições de resposta ao nível populacional baseadas em estatísticas resumidas de um estudo anterior com profissionais sobre triagem de alarmes de SOC.
Configuração 3: Análise de Robustez Temporal: Utilizando relatórios de pesquisa de SOC da SANS de 2017–2025, os autores avaliaram se os LLMs poderiam acompanhar mudanças temporais nas respostas dos profissionais, incluindo pontos de dados antes e depois dos cortes de treinamento dos modelos.

Modelos e Métricas

Seis LLMs foram avaliados (GPT-4o, GPT-4, DeepSeek, Llama 3.1-8B, Llama 3.2-3B, Gemini Flash), além do GPT-3.5-turbo para contraste temporal. As métricas de avaliação incluíram:

Medidas de Concordância: Taxas de correspondência exata, similaridade Jaccard/Hamming e diferenças absolutas de mediana.
Divergência Distribucional: Divergência de Jensen–Shannon (JSD) e divergência de Pearson $\chi^2$ para comparar distribuições sintéticas contra bases de referência humanas.
Estabilidade: Consistência intra-LLM (repetibilidade entre execuções) e concordância inter-LLM.

3. Contribuições Principais

O artigo apresenta quatro contribuições primárias:

Framework Metodológico: Um framework generalizável para usar e avaliar LLMs como participantes substitutos em pesquisas de especialistas em cibersegurança.
Comparação Empírica: Uma comparação abrangente entre especialistas de SOC reais e respondentes gerados por LLM em configurações individuais, agregadas e temporais.
Identificação de Modos de Falha: A identificação sistemática de vieses específicos nos dados de pesquisa gerados por LLM, incluindo redução de variância, viés de tendência central e opiniões homogeneizadas.
Análise de Fatores Humanos: Uma avaliação dos riscos associados aos respondentes sintéticos, especificamente a perda de variabilidade do especialista e a representação equivocada das perspectivas dos profissionais.

4. Resultados

O estudo produz várias descobertas críticas sobre a confiabilidade dos LLMs neste contexto:

Nível Individual (Configuração 1): Embora os LLMs produzam respostas internamente consistentes quando instruídos com personas específicas, eles divergem sistematicamente de especialistas humanos. A concordância inter-LLM é baixa e o alinhamento com as respostas humanas é fraco (frequentemente zero). Os modelos não convergem para respostas simuladas semelhantes, nem aproximam os julgamentos de especialistas individuais.
Nível Agregado (Configuração 2): Os LLMs geram distribuições agregadas altamente estáveis através de execuções repetidas. No entanto, embora a similaridade pareada (JSD) sugira que os modelos produzem formas distributivas amplamente semelhantes, medidas de divergência absoluta ( $\chi^2$ ) revelam grandes discrepâncias com as bases de referência humanas. Os modelos tendem a alocar excessivamente a massa de probabilidade para opções raras e falham em reproduzir fielmente as proporções específicas das respostas dos profissionais.
Nível Temporal (Configuração 3): As distribuições geradas por LLM são insensíveis ao tempo. O alinhamento com os dados de pesquisa humana permanece consistentemente baixo em todos os anos (2017–2025) e não melhora para os anos anteriores ao corte de pré-treinamento, nem degrada para os anos posteriores ao corte. Os modelos falham em acompanhar mudanças históricas nas respostas dos profissionais, sugerendo que reproduzem conhecimento conceitual estático em vez de julgamento profissional evolutivo.
Vieses Sistemáticos: A análise qualitativa e quantitativa confirma que os LLMs exibem redução de variância, viés de tendência central (convergindo para respostas moderadas) e opiniões homogeneizadas. Eles tendem a refletir melhores práticas genéricas em vez das realidades matizadas, conflitantes e dependentes de contexto dos especialistas humanos.

5. Significância e Alegações

O artigo conclui com uma postura modesta, porém firme, sobre o papel dos LLMs na pesquisa de segurança:

Não é um Substituto: Os LLMs não são adequados como substitutos para a elicitação de especialistas humanos em pesquisas de cibersegurança. Sua divergência sistemática da variabilidade humana e sua incapacidade de capturar a diversidade das perspectivas dos profissionais limitam sua validade como participantes substitutos para tirar conclusões empíricas sobre operações de segurança.
Úteis para Piloto e Geração de Hipóteses: Os autores argumentam que os LLMs são valiosos como ferramentas de aumento. Sua controlabilidade e escalabilidade os tornam eficazes para:
- Pilotar instrumentos de pesquisa.
- Testar o estresse de designs de questionários.
- Explorar populações contrafatuais.
- Gerar hipóteses para investigação posterior liderada por humanos.
Orientação Metodológica: O trabalho fornece orientação prática para pesquisadores, enfatizando que as respostas sintéticas devem ser tratadas como amostras estocásticas de distribuições específicas do modelo, em vez de opiniões de especialistas autoritativas. Os pesquisadores devem aplicar salvaguardas metodológicas e relatar transparentemente as limitações das pesquisas aumentadas por LLM para preservar a integridade da pesquisa de segurança centrada no humano.

Os autores declaram explicitamente que, embora os LLMs possam apoiar o processo de pesquisa, eles não podem substituir o julgamento matizado e consciente do contexto dos profissionais humanos, e confiar neles como tal corre o risco de induzir a conclusões errôneas e a erosão da variabilidade do especialista em estudos de segurança.