From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

En el mundo industrial moderno, las empresas se enfrentan a una creciente montaña de reglas diseñadas para proteger el planeta y la privacidad de las personas. Para demostrar que están cumpliendo con estas reglas, las empresas deben crear documentos específicos, a menudo llamados artefactos de cumplimiento. Piense en estos como informes detallados que actúan como un pasaporte para un producto o una auditoría de seguridad para un sistema informático. Una regla europea importante exige un pasaporte digital para cada batería vendida, enumerando exactamente qué materiales contiene y cómo reciclarlos. Otra regla exige una evaluación de riesgos para cualquier sistema que maneje datos personales, asegurando que la información privada de las personas esté segura. Crear estos documentos a mano es difícil porque los datos necesarios están dispersos en muchos sistemas informáticos diferentes y provienen de formatos desordenados e inconsistentes. A medida que las empresas luchan con este papeleo, han recurren a la inteligencia artificial, específicamente a los modelos de lenguaje extensos, para que escriban estos informes por ellas. Estos programas informáticos son excelentes leyendo texto y generando contenido nuevo, pero sigue sin estar claro si se puede confiar en ellos para seguir instrucciones legales estrictas sin inventar cosas o pasar por alto detalles críticos.

Un equipo de investigadores se propuso probar exactamente qué tan bien se desempeñan estas herramientas de inteligencia artificial cuando se les pide que escriban estos informes obligatorios. Se centraron en dos tipos de documentos muy diferentes para ver si la naturaleza de las instrucciones cambiaba el resultado. El primero fue un Pasaporte Digital de Batería, un documento con una estructura muy clara y rígida definida por los reguladores. El segundo fue una Evaluación de Impacto de Protección de Datos, un documento requerido para las leyes de privacidad que es mucho más abierto y vago en sus instrucciones. Los investigadores alimentaron a cinco modelos de inteligencia artificial diferentes con una serie de tareas. En algunos casos, dieron a los modelos una instrucción simple y breve para escribir el informe. En otros casos, proporcionaron una guía larga y detallada que explicaba exactamente qué información era necesaria y cómo formatearla. Realizaron estas pruebas varias veces para ver si los modelos producirían el mismo resultado cada vez, y luego verificaron si los informes generados contenían toda la información legalmente requerida.

Los resultados revelaron una división marcada entre cómo los modelos manejaron los dos tipos de documentos. Cuando se les pidió crear el Pasaporte Digital de Batería, los sistemas de inteligencia artificial fueron notablemente consistentes. Debido a que las reglas para este documento eran tan específicas, los modelos produjeron resultados casi idénticos independientemente de si las instrucciones eran cortas o largas. Extrajeron con éxito los datos necesarios sobre los materiales de la batería y los formatearon correctamente casi siempre. Sin embargo, la historia cambió por completo cuando los modelos abordaron la Evaluación de Impacto de Protección de Datos. Aquí, la falta de una estructura rígida hizo que los modelos tuvieran dificultades para mantener la consistencia. Al recibir solo el texto de la regulación básica sin orientación adicional, los modelos a menudo produjeron informes que omitían secciones clave o variaban drásticamente de un intento a otro. Los investigadores descubrieron que para estas tareas vagas, proporcionar al modelo más contexto y ejemplos específicos era esencial para obtener un resultado fiable. Sin esa ayuda adicional, los modelos tendían a dejar fuera detalles importantes, como el manejo de los límites de almacenamiento de datos o cómo evaluar los riesgos para las personas.

Uno de los hallazgos más sorprendentes fue cómo reaccionaron los modelos al nivel de detalle en las instrucciones. Para el estricto pasaporte de batería, añadir más detalles a la instrucción no cambió significativamente la calidad del resultado, pero puede conducir a más alucinaciones en el contenido. Para la evaluación de privacidad, sin embargo, ocurrió lo contrario. Los modelos necesitaban ese contexto adicional para desempeñarse bien. Cuando las instrucciones eran demasiado vagas, los modelos a menudo fallaban al incluir secciones requeridas, lo que sugiere que el lenguaje legal actual es demasiado amplio para que estas herramientas lo interpreten de manera fiable por sí solas. El estudio también destacó que diferentes modelos de inteligencia artificial se comportaron de manera distinta; algunos fueron consistentemente fiables en todas las tareas, mientras que otros fueron propensos a omitir información importante cuando las instrucciones no eran cristalinas.

En última instancia, la investigación sugiere que el éxito del uso de la inteligencia artificial para el cumplimiento legal depende en gran medida del tipo de documento que se esté creando. Para tareas altamente estructuradas como el pasaporte de batería, la tecnología está lista para ser utilizada con una configuración mínima. Pero para tareas complejas y abiertas como las evaluaciones de privacidad, simplemente pedirle a la computadora que siga la ley no es suficiente. Los investigadores concluyeron que para que estas herramientas funcionen eficazmente para las partes vagas de la regulación, las empresas deben invertir tiempo en la creación de instrucciones (prompts) detalladas y específicas que guíen a la inteligencia artificial a través de los pasos necesarios. Hasta que las propias regulaciones sean más específicas sobre lo que estos documentos deben contener, o hasta que la forma en que instruimos a estas máquinas mejore, el uso de la inteligencia artificial para el cumplimiento seguirá siendo una mezcla de alta fiabilidad para algunas tareas y un riesgo significativo para otras.