Understanding How University Guidelines Address Privacy and Security Issues of Generative AI in Academic Settings

Resumen Técnico: Comprensión de cómo las directrices universitarias abordan los problemas de privacidad y seguridad de la IA generativa en entornos académicos

Planteamiento del problema
La IA generativa (GenAI) está transformando rápidamente la educación superior al aumentar los paradigmos de aprendizaje; sin embargo, los sistemas que impulsan esta transformación están controlados predominantemente por entidades privadas con prácticas de retención de datos opacas y un control limitado para el usuario. En los entornos académicos, la integración de la GenAI plantea preocupaciones críticas con respecto a la exposición de información patentada, de identificación personal y educativa sensible a plataformas externas. Mientras las universidades desarrollan directrices de uso para equilibrar la innovación con la integridad académica, existe una brecha significativa en la comprensión de cómo estas instituciones conceptualizan, evalúan y mitigan específicamente los riesgos de privacidad y seguridad inherentes a la GenAI. La literatura existente a menudo trata la privacidad y la seguridad como cuestiones secundarias a las preocupaciones pedagógicas o carece de la granularidad necesaria para analizar los desafíos técnicos y operativos que enfrentan las universidades para salvaguardar la adopción de la GenAI.

Metodología
Los autores realizaron un análisis de contenido cualitativo profundo de las directrices de uso de GenAI publicadas por 43 universidades en 12 países. La muestra se extrajo de los "2024 QS World University Rankings" para asegurar un enfoque en instituciones reconocidas mundialmente, aunque el estudio buscaba la diversidad regional.

• Recolección de datos: Los investigadores navegaron manualmente por los sitios web de las universidades para identificar directrices a nivel universitario (excluyendo documentos específicos de departamentos) publicados en inglés entre junio y diciembre de 2024. También recopilaron directrices adicionales de seguridad y privacidad centradas en TI de 19 de estas universidades para contrastarlas con los documentos centrados en la enseñanza y el aprendizaje.
• Proceso de análisis: El estudio empleó un proceso de codificación cualitativa estructurada. Tres investigadores codificaron independientemente los documentos de un conjunto inicial de universidades para desarrollar un libro de códigos, el cual fue refinado mediante discusiones iterativas. El libro de códigos se aplicó luego al resto de los documentos, logrando un kappa de Cohen ($\kappa$) de 0,65, lo que indica una concordancia sustancial entre anotadores. El análisis continuó hasta alcanzar la saturación de los datos.
• Alcance: El análisis se centró en el contenido textual relativo a los riesgos de privacidad y seguridad, modelos de amenazas, estrategias de mitigación y la integración de estos conceptos con valores académicos más amplios.

Contribuciones clave y resultados
El estudio aborda tres preguntas de investigación (RQ) relativas a cómo las universidades conceptualizan los riesgos, evalúan las medidas de mitigación y posicionan la privacidad/seguridad dentro del diseño de políticas. Los hallazgos se resumen de la siguiente manera:

1. Conceptualización de los riesgos (RQ1)
Las universidades reconocen ampliamente los riesgos de privacidad y seguridad relacionados con la GenAI, particularmente en lo que respecta a los datos sensibles de estudiantes, investigaciones e instituciones. Sin embargo, el estudio identifica tres características clave en la forma en que se enmarcan estos riesgos:

• Definiciones de datos variables: Las directrices difieren significativamente en cómo definen los "datos sensibles". Algunas utilizan ejemplos específicos (por ejemplo, Caltech enumerando la PI y los datos sujetos a control de exportación), mientras que otras dependen de terminología vaga (por ejemplo, "información confidencial") sin profundizar, recurriendo a menudo a políticas externas como el RGPD o las leyes nacionales de protección de datos.
• Desequilibrio en los modelos de amenazas: Los modelos de amenazas presentados son parciales. Las directrices enfatizan fuertemente la exposición de la privacidad a través de proveedores de servicios externos y el uso indebido de la GenAI para violaciones de la integridad académica (por ejemplo, plagio, fabricación). En contraste, los comportamientos adversarios concretos como el jailbreaking, la inyección de prompts y las vulnerabilidades técnicas (por ejemplo, el envenenamiento del modelo) están subespecificados, siendo solo una minoría de las directrices las que discuten estos ataques de seguridad.
• Conexiones poco claras con daños más amplios: Aunque las directrices vinculan las brechas de privacidad con riesgos éticos (por ejemplo, la discriminación) y resultados de aprendizaje negativos (por ejemplo, la dependencia excesiva), la conexión entre los fallos de seguridad técnica y los daños educativos más amplios sigue siendo, a menudo, poco clara o implícita.

2. Medidas de mitigación y desafíos (RQ2)
Las universidades intentan mitigar los riesgos mediante una combinación de salvaguardas técnicas, procedimientos operativos y responsabilidades individuales, pero enfrentan desafíos significativos en cuanto a claridad y consistencia:

• Salvaguardas técnicas: Existe escepticismo respecto a la fiabilidad de las herramientas de detección de IA. En consecuencia, las universidades suelen confiar en las infraestructuras técnicas existentes (por ejemplo, verificación de cuentas corporativas, controles de acceso) y en versiones con licencia de herramientas de GenAI (por ejemplo, Microsoft Copilot con Anexos de Protección de Datos) en lugar de desarrollar nuevos mecanismos de detección específicos para la GenAI.
• Desplazamiento hacia la responsabilidad individual: Una tendencia predominante es la delegación de la responsabilidad a los individuos (estudiantes y profesores). Las directrices frecuentemente depositan la carga en los usuarios para que eviten cargar datos sensibles, revisen los resultados y seleccionen las herramientas apropiadas, a menudo sin proporcionar evaluaciones de privacidad detalladas y específicas para cada servicio.
• Complejidad operativa: Implementar revisiones de seguridad para la adquisición de GenAI es complejo y a menudo involucra a múltiples departamentos. Si bien algunas instituciones han establecido mecanismos de supervisión y reparación dedicados, estos procesos se describen a menudo como esfuerzos en curso en lugar de protocolos maduros y estandarizados.
• Directrices de TI frente a las de enseñanza: Las directrices centradas en TI tienden a traducir las preocupaciones de privacidad en evaluaciones de riesgo y prácticas de monitoreo concretas, mientras que las directrices centradas en la enseñanza enmarcan estos problemas a través de los valores académicos y las prácticas de aula. El cruce de información entre estos dos tipos de directrices varía significativamente según la región.

3. Principios de diseño de políticas (RQ3)
La gobernanza de la privacidad y la seguridad está moldeada por una compleja interacción de factores:

• Marcos regulatorios: Las directrices están fuertemente ancladas en las regulaciones nacionales y regionales existentes (por ejemplo, FERPA en EE. UU., RGPD en la UE, PDPA en Singapur). Sin embargo, estos marcos a menudo carecen de disposiciones específicas para la GenAI, lo que genera inconsistencias en cómo se regula el intercambio de datos con terceros en las distintas jurisdicciones.
• Valores académicos: La privacidad y la seguridad se subsumen a menudo bajo valores académicos más amplios como la integridad, la equidad y el aprendizaje responsable. Si bien esto proporciona un peso normativo, el artículo señala que tal enmarcamiento basado en valores puede dejar la implementación abierta a la interpretación, sustituyendo en ocasiones los principios de alto nivel por una guía concreta.
• Participación de las partes interesadas: Se reconoce la necesidad de una participación activa de estudiantes y personal en la creación de políticas, aunque la efectividad de este compromiso para abordar los riesgos técnicos de privacidad varía.

Significancia y afirmaciones
El artículo afirma proporcionar el primer análisis cualitativo profundo de cómo las universidades gestionan sistemáticamente los riesgos de privacidad y seguridad de la GenAI, yendo más allá de la identificación de estos problemas como preocupaciones secundarias. Los autores argumentan que sus hallazgos revelan brechas críticas en el panorama institucional actual:

• Limitaciones de los marcos actuales: Los marcos legales y técnicos existentes suelen ser insuficientes para abordar las amenazas específicas de la GenAI, tales como la capacidad de los modelos para inferir información sensible a partir de datos mínimos o los riesgos de "jailbreaking".
• Necesidad de enfoques personalizados: El estudio destaca la necesidad de que las universidades vayan más allá de las políticas genéricas de protección de datos y desarrollen marcos de evaluación y salvaguardas técnicas específicamente diseñados para las capacidades y riesgos únicos de la GenAI.
• Disparidades de infraestructura: La investigación subraya las disparidades de recursos entre las instituciones, sugiriendo que las universidades con menos recursos pueden tener dificultades para implementar las complejas salvaguardas observadas en las instituciones de alto nivel sin asociaciones estratégicas y el intercambio de conocimientos.

Los autores concluyen que, si bien las universidades están desarrollando activamente directrices, el campo requiere marcos más robustos y conscientes de la privacidad que integren perspectivas técnicas, operativas y pedagógicas para salvaguardar eficazmente la adopción de la GenAI en la educación superior.