Assessor Experiences in CMMC Level 2 Certification Assessments: An Interpretative Phenomenological Analysis of Role Expectations

Resumen Técnico: Experiencias de los Evaluadores en las Evaluaciones de Certificación CMMC Nivel 2

Enunciado del Problema
El programa de Certificación del Modelo de Madurez de Ciberseguridad (CMMC) exige que las evaluaciones de terceros para los contratistas del Departamento de Defensa (DoD) se realicen bajo un estricto modelo "no consultivo" para garantizar la imparcialidad. Bajo este marco, las Organizaciones de Evaluación de Terceros de CMMC (C3PAO) y sus evaluadores tienen prohibido proporcionar orientación de remediación o apoyo consultivo a las Organizaciones que Buscan Certificación (OSC). Aunque la política define estas restricciones, existe una brecha significativa en la comprensión de cómo los evaluadores experimentan, interpretan y navegan estas expectativas de roles en la práctica. La literatura existente se centra en la implementación organizacional, los resultados de cumplimiento y el diseño del marco, pero no examina las experiencias vividas de los evaluadores que operacionalizan estas normas. Este estudio aborda la pregunta de investigación: ¿Cómo experimentan e interpretan los evaluadores de CMMC las expectativas de roles durante las evaluaciones de certificación de Nivel 2?

Metodología
El estudio emplea un diseño cualitativo exploratorio utilizando el Análisis Fenomenológico Interpretativo (IPA) para examinar las experiencias vividas de los Evaluadores Certificados por CMMC (CCA).

• Participantes: Dos Evaluadores Principales (designados como "Timothy" y "John") con amplia experiencia en evaluaciones de NIST SP 800-171 y evaluaciones de CMMC Nivel 2. Ambos habían realizado al menos cinco evaluaciones bajo el modelo no consultivo.
• Recopilación de Datos: Se realizaron entrevistas semiestructuradas a través de Zoom, con una duración aproximada de 60 minutos cada una. Las entrevistas se centraron en las expectativas de roles, las restricciones operativas y la interpretación de los requisitos no consultivos.
• Análisis: Las transcripciones se analizaron utilizando un enfoque IPA de múltiples etapas. Esto implicó la lectura repetida, la toma de notas inicial y el desarrollo de Temas Experienciales Personales (PET) para cada participante. Posteriormente, se realizó una comparación entre casos para identificar patrones de convergencia y divergencia, dando lugar a Temas Experienciales Grupales (GET).
• Marco Teórico: El análisis se guió por la Teoría del Conflicto de Roles y la Teoría del Rol Organizacional para interpretar cómo los evaluadores concilian expectativas competitivas (por ejemplo, la necesidad de imparcialidad frente a las necesidades prácticas de la OSC) dentro de un entorno institucional restringido.
• Rigor: El estudio mantuvo un rastro de auditoría, utilizó la desidentificación y aseguró la reflexividad analítica para distinguir los relatos de los participantes de las afirmaciones interpretativas.

Resultados Clave
El análisis arrojó tres Temas Experienciales Grupales (GET) principales que describen cómo los evaluadores construyen su realidad profesional:

1. Credibilidad Profesional e Identidad del Evaluador (GET C.1):
   Los evaluadores fundamentan su identidad en la credibilidad profesional, que se deriva de la competencia técnica, la experiencia acumulada y el cumplimiento del Código de Conducta Profesional (CoPC).

   • Convergencia: Ambos participantes consideran la credibilidad como algo demostrado a través del desempeño y la alineación con las expectativas del ecosistema CMMC.
   • Divergencia: Un participante enfatizó la validación externa (reclutamiento, confianza organizacional), mientras que el otro enfatizó la validación ética (independencia, claridad de límites).

2. El Trabajo de Evaluación como una Práctica Técnica, Evolutiva y Altamente Estructurada (GET C.2):
   La evaluación no se considera un ejercicio estático de cumplimiento, sino un proceso procedimental, impulsado por evidencia, que requiere una precisión metodológica sostenida.

   • Convergencia: Ambos enfatizan la planificación, la revisión de documentación, la programación coordinada y la gestión disciplinada de la evidencia.
   • Divergencia: Un participante se centró en el potencial de optimización y eficiencia a medida que madura el ecosistema, mientras que el otro enfatizó la disciplina estructural y la adhesión estricta a los procesos como el valor principal.

3. Navegación del Límite del Modelo No Consultivo en la Práctica (GET C.3):
   Los evaluadores encuentran rutinariamente tensión entre las reglas formales que prohíben la consultoría y las realidades prácticas de las OSC que buscan orientación.

   • Convergencia: Ambos reconocen que las OSC a menudo presionan contra los límites mediante solicitudes de aclaración o definición de alcance. Mantener la línea entre evaluación y consultoría es central para la integridad del programa.
   • Divergencia: Un participante destacó las contradicciones sistémicas y la carga operativa de las OSC no preparadas, señalando el riesgo de dinámicas de "pagar para jugar" si se cruzan los límites. El otro enfatizó la confianza y la comunicación disciplinada como estrategias para mantener la independencia, enmarcándolo como una necesidad ética en lugar de una contradicción estructural.

Contribuciones y Significado
El artículo afirma tres contribuciones específicas al campo de la investigación sobre cumplimiento de ciberseguridad:

1. Perspectiva Empírica: Proporciona el primer examen empírico de cómo los evaluadores de CMMC interpretan las expectativas de roles y las restricciones de límites dentro del modelo no consultivo, llenando un vacío donde la investigación anterior se centró únicamente en los resultados organizacionales.
2. Aplicación Teórica: Demuestra la aplicabilidad de la Teoría del Conflicto de Roles y la Teoría del Rol Organizacional a los roles de cumplimiento de ciberseguridad. Los hallazgos muestran que los evaluadores no siguen simplemente la política de manera mecánica; negocian activamente la ambigüedad y el conflicto de roles a través de comportamientos adaptativos, como confiar en la competencia técnica para estabilizar las expectativas de roles y utilizar flujos de trabajo estructurados para gestionar la complejidad.
3. Validación Metodológica: El estudio respalda el uso del IPA para examinar las experiencias de los profesionales en contextos estructurados y guiados por políticas, mostrando que el análisis idográfico puede capturar eficazmente los matices de la interpretación de roles bajo restricciones formales.

Implicaciones Prácticas (Provisionales)
Los autores ofrecen implicaciones provisionales para las partes interesadas (DoD, C3PAO y OSC) basadas en los hallazgos, señalando que estas no requieren debilitar el modelo no consultivo, sino más bien refinar su ejecución:

• Clarificar las Expectativas de Límites: Desarrollar materiales previos a la evaluación más claros para las OSC que expliquen qué pueden y no pueden hacer los evaluadores, reduciendo la presión sobre los evaluadores para gestionar malentendidos durante el compromiso.
• Estandarizar Flujos de Trabajo: Implementar plantillas de programación estandarizadas, orientación sobre la presentación de evidencia y listas de verificación para reducir la ambigüedad procedimental y la variación en la ejecución de la evaluación.
• Mejorar la Capacitación: Enfocar la capacitación de los evaluadores en la comunicación neutral, el diálogo de validación de alcance y el lenguaje que preserva los límites para ayudar a los evaluadores a recopilar la evidencia necesaria sin parecer que consultan.

Limitaciones
El estudio reconoce explícitamente sus limitaciones:

• Tamaño de la Muestra: Con solo dos participantes, los hallazgos no son generalizables a la población más amplia de evaluadores.
• Nivel de Experiencia: Los participantes eran Evaluadores Principales altamente experimentados; sus perspectivas pueden diferir de las de evaluadores con menos experiencia.
• Especificidad del Contexto: Los hallazgos son específicos del modelo no consultivo de CMMC y pueden no transferirse directamente a otros marcos de cumplimiento de ciberseguridad (por ejemplo, ISO 27001, SOC 2) donde las reglas de compromiso difieren.

Conclusión
El artículo concluye que la experiencia del evaluador en las evaluaciones de CMMC Nivel 2 está moldeada por la interacción de la ambigüedad de roles, la complejidad de la carga de trabajo y las expectativas competitivas. Los evaluadores se basan en la identidad profesional, la práctica estructurada y las estrategias de gestión de límites para mantener la alineación con los requisitos del programa. El estudio proporciona una perspectiva fundamental sobre cómo el diseño del programa CMMC afecta a aquellos responsables de sus mecanismos de verificación, destacando áreas donde el modelo no consultivo crea tensión operativa que puede influir en la credibilidad y la consistencia de los resultados de la evaluación.