Assessor Experiences in CMMC Level 2 Certification Assessments: An Interpretative Phenomenological Analysis of Role Expectations

Resumo Técnico: Experiências de Avaliadores em Avaliações de Certificação CMMC Nível 2

Declaração do Problema
O programa de Certificação do Modelo de Maturidade em Cibersegurança (CMMC) determina que as avaliações de terceiros para contratados do Departamento de Defesa (DoD) sejam conduzidas sob um modelo estrito "não consultivo" para garantir a imparcialidade. Sob este quadro, as Organizações de Avaliação de Terceiros do CMMC (C3PAOs) e seus avaliadores são proibidos de fornecer orientação de remediação ou suporte consultivo às Organizações em Busca de Certificação (OSCs). Embora a política defina essas restrições, há uma lacuna significativa na compreensão de como os avaliadores vivenciam, interpretam e navegam nessas expectativas de papel na prática. A literatura existente foca na implementação organizacional, nos resultados de conformidade e no desenho do quadro, mas falha em examinar as experiências vividas dos avaliadores que operacionalizam essas regras. Este estudo aborda a questão de pesquisa: Como os avaliadores do CMMC vivenciam e interpretam as expectativas de papel durante as Avaliações de Certificação Nível 2?

Metodologia
O estudo emprega um desenho qualitativo exploratório utilizando Análise Fenomenológica Interpretativa (IPA) para examinar as experiências vividas de Avaliadores Certificados pelo CMMC (CCAs).

• Participantes: Dois Avaliadores Líderes (designados como "Timothy" e "John") com vasta experiência em avaliações da NIST SP 800-171 e avaliações de Nível 2 do CMMC. Ambos conduziram pelo menos cinco avaliações sob o modelo não consultivo.
• Coleta de Dados: Entrevistas semiestruturadas foram conduzidas via Zoom, com duração aproximada de 60 minutos cada. As entrevistas focaram em expectativas de papel, restrições operacionais e a interpretação dos requisitos não consultivos.
• Análise: As transcrições foram analisadas usando uma abordagem IPA multietapa. Isso envolveu leitura repetida, anotação inicial e o desenvolvimento de Temas Experienciais Pessoais (PETs) para cada participante. Posteriormente, uma comparação entre casos foi realizada para identificar padrões de convergência e divergência, resultando em Temas Experienciais de Grupo (GETs).
• Quadro Teórico: A análise foi guiada pela Teoria do Conflito de Papéis e pela Teoria do Papel Organizacional para interpretar como os avaliadores reconciliam expectativas concorrentes (por exemplo, a necessidade de imparcialidade versus as necessidades práticas da OSC) dentro de um ambiente institucional restrito.
• Rigor: O estudo manteve um rastro de auditoria, utilizou desidentificação e garantiu reflexividade analítica para distinguir os relatos dos participantes de alegações interpretativas.

Principais Resultados
A análise produziu três Temas Experienciais de Grupo (GETs) primários que descrevem como os avaliadores constroem sua realidade profissional:

1. Credibilidade Profissional e Identidade do Avaliador (GET C.1):
   Os avaliadores fundamentam sua identidade na credibilidade profissional, que é derivada da competência técnica, experiência acumulada e adesão ao Código de Conduta Profissional (CoPC).

   • Convergência: Ambos os participantes veem a credibilidade como algo demonstrado através do desempenho e alinhamento com as expectativas do ecossistema CMMC.
   • Divergência: Um participante enfatizou a validação externa (recrutamento, confiança organizacional), enquanto o outro enfatizou a validação ética (independência, clareza de limites).

2. Trabalho de Avaliação como Prática Técnica, Evolutiva e Altamente Estruturada (GET C.2):
   A avaliação não é vista como um exercício estático de conformidade, mas como um processo procedimental, orientado por evidências, que exige precisão metodológica sustentada.

   • Convergência: Ambos enfatizam planejamento, revisão de documentação, agendamento coordenado e gestão disciplinada de evidências.
   • Divergência: Um participante focou no potencial de otimização e eficiência à medida que o ecossistema amadurece, enquanto o outro enfatizou a disciplina estrutural e a adesão estrita aos processos como o valor primário.

3. Navegando o Limite do Modelo Não Consultivo na Prática (GET C.3):
   Os avaliadores encontram rotineiramente tensão entre regras formais que proíbem consultoria e as realidades práticas das OSCs buscando orientação.

   • Convergência: Ambos reconhecem que as OSCs frequentemente pressionam os limites através de solicitações de esclarecimento ou definição de escopo. Manter a linha entre avaliação e consultoria é central para a integridade do programa.
   • Divergência: Um participante destacou contradições sistêmicas e o ônus operacional de OSCs despreparadas, notando o risco de dinâmicas de "pagar para jogar" se os limites forem cruzados. O outro enfatizou confiança e comunicação disciplinada como estratégias para manter a independência, enquadrando-a como uma necessidade ética em vez de uma contradição estrutural.

Contribuições e Significância
O artigo reivindica três contribuições específicas para o campo da pesquisa em conformidade de cibersegurança:

1. Insight Empírico: Fornece o primeiro exame empírico de como os avaliadores do CMMC interpretam expectativas de papel e restrições de limites dentro do modelo não consultivo, preenchendo uma lacuna onde pesquisas anteriores focaram exclusivamente em resultados organizacionais.
2. Aplicação Teórica: Demonstra a aplicabilidade da Teoria do Conflito de Papéis e da Teoria do Papel Organizacional a funções de conformidade em cibersegurança. As descobertas mostram que os avaliadores não seguem meramente a política mecanicamente; eles negociam ativamente ambiguidade e conflito de papel através de comportamentos adaptativos, como confiar na competência técnica para estabilizar expectativas de papel e usar fluxos de trabalho estruturados para gerenciar complexidade.
3. Validação Metodológica: O estudo apoia o uso da IPA para examinar experiências de praticantes em contextos estruturados e orientados por políticas, mostrando que a análise idiomográfica pode capturar efetivamente as nuances da interpretação de papel sob restrições formais.

Implicações Práticas (Provisórias)
Os autores oferecem implicações provisórias para as partes interessadas (DoD, C3PAOs e OSCs) com base nas descobertas, observando que estas não exigem o enfraquecimento do modelo não consultivo, mas sim o refinamento de sua execução:

• Clarificar Expectativas de Limites: Desenvolver materiais pré-avaliação mais claros para as OSCs para explicar o que os avaliadores podem e não podem fazer, reduzindo a pressão sobre os avaliadores para gerenciar mal-entendidos durante o engajamento.
• Padronizar Fluxos de Trabalho: Implementar modelos padronizados de agendamento, orientações de envio de evidências e listas de verificação para reduzir a ambiguidade procedimental e a variação na execução da avaliação.
• Melhorar o Treinamento: Focar o treinamento de avaliadores na comunicação neutra, diálogo de validação de escopo e linguagem que preserva limites para ajudar os avaliadores a coletar evidências necessárias sem parecerem consultores.

Limitações
O estudo reconhece explicitamente suas limitações:

• Tamanho da Amostra: Com apenas dois participantes, as descobertas não são generalizáveis para a população mais ampla de avaliadores.
• Nível de Experiência: Os participantes eram Avaliadores Líderes altamente experientes; suas perspectivas podem diferir das de avaliadores menos experientes.
• Especificidade do Contexto: As descobertas são específicas ao modelo não consultivo do CMMC e podem não transferir diretamente para outros quadros de conformidade em cibersegurança (por exemplo, ISO 27001, SOC 2) onde as regras de engajamento diferem.

Conclusão
O artigo conclui que a experiência do avaliador em avaliações de Nível 2 do CMMC é moldada pela interação de ambiguidade de papel, complexidade de carga de trabalho e expectativas concorrentes. Os avaliadores recorrem à identidade profissional, prática estruturada e estratégias de gestão de limites para manter o alinhamento com os requisitos do programa. O estudo fornece insight fundamental sobre como o desenho do programa CMMC afeta aqueles responsáveis por seus mecanismos de verificação, destacando áreas onde o modelo não consultivo cria tensão operacional que pode influenciar a credibilidade e a consistência dos resultados da avaliação.