Role-Aware Language Models for Secure and Contextualized Access Control in Organizations

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje Grandes (LLMs) se despliegan en entornos empresariales para tareas como la generación de documentos, resúmenes y asistencia interna, surge una necesidad crítica de controlar el comportamiento del modelo basándose en el rol del usuario.

• Limitación actual: Los métodos de seguridad existentes se centran en prevenir la generación de contenido tóxico o dañino, asumiendo un acceso uniforme para todos los usuarios. No abordan las restricciones de acceso específicas por rol (ej. un gerente de RRHH no debería ver datos financieros confidenciales, aunque un CEO sí).
• El desafío: Aplicar los principios de Control de Acceso Basado en Roles (RBAC), bien establecidos en sistemas de software tradicionales, a los LLMs generativos es complejo debido a la capacidad de estos modelos para "alucinar" información o filtrar datos más allá de sus datos de entrenamiento explícitos.
• Pregunta de investigación: ¿Pueden los LLMs ser ajustados finamente (fine-tuned) para generar respuestas que reflejen y respeten los privilegios de acceso asociados a diferentes roles organizacionales?

2. Metodología

Los autores proponen un marco de trabajo que simula escenarios organizacionales realistas y evalúa tres estrategias de modelado complementarias.

A. Construcción de Datos

Se definieron dos estructuras organizacionales jerárquicas (una estructura básica con un CEO y 19 subordinados directos, y una estructura de oficina con múltiples niveles de gestión). Para cada estructura, se crearon dos conjuntos de datos:

1. Dataset Repurposed (Reutilizado): Adaptado del corpus Databricks Dolly-15k. Se utilizaron técnicas de agrupamiento (clustering) con transformadores de oraciones para asignar roles a las instrucciones existentes, creando una jerarquía semántica de acceso.
2. Dataset Sintético: Generado mediante GPT-4.1 mini, creando pares de instrucción-respuesta específicos para roles, departamentos y rangos de acceso definidos en un formato JSON estructurado.

Estrategia de Muestreo: Para cada par instrucción-respuesta, se generaron instancias de entrenamiento positivas (rol autorizado y roles superiores) y negativas (roles subordinados, roles externos o roles inexistentes), etiquetadas binariamente (acceso concedido/denegado).

B. Estrategias de Modelado

Se evaluaron tres enfoques distintos:

1. Role-aware Cls (Clasificador basado en BERT): Se entrenaron seis modelos BERT (incluyendo ModernBERT, RoBERTa) para clasificar si un usuario tiene acceso. El rol se adjunta al final del prompt.
2. Role-aware LLM-Cls (Clasificador basado en LLM): Se ajustaron finamente seis LLMs de código abierto (Qwen, Llama, Gemma) para realizar una clasificación binaria (Verdadero/Falso) sobre el acceso. El rol se prefiende al prompt.
3. Role-aware LLM-Gen (Generación Condicionada al Rol): Se utilizan los mismos LLMs, pero en lugar de clasificar, se les entrena para generar la respuesta completa o un mensaje de denegación genérico, dependiendo del rol del usuario.

C. Codificación de Roles

Se probaron tres métodos para representar el rol en el prompt:

• Codificación Numérica Jerárquica: Índices con puntos (ej. "1" para CEO, "1.1" para subordinado).
• Codificación de Nombre Único: Solo el título del rol (ej. "CEO").
• Codificación de Nombre Jerárquico: La ruta completa (ej. "CEO - Gerente de IT").

3. Contribuciones Clave

• Evaluación exhaustiva: Se comparan múltiples estrategias (clasificadores vs. generadores) y tamaños de modelo en entornos organizacionales diversos.
• Análisis de Robustez: Se evalúa la resistencia del modelo ante inyección de prompts (jailbreaks), desajustes de roles (un usuario intentando acceder con un rol incorrecto) y manipulación de la cadena de roles (ej. "1.2" vs "01.02").
• Conjuntos de datos públicos: Se liberan dos conjuntos de datos complementarios (reutilizados y sintéticos) diseñados específicamente para evaluar el control de acceso jerárquico en LLMs.

4. Resultados Principales

Rendimiento en Control de Acceso

• Mejor enfoque: Los clasificadores basados en LLMs (LLM-Cls) mostraron el mejor rendimiento general, superando tanto a los generadores como a los clasificadores tradicionales basados en BERT.
  • En el dataset Dolly (reutilizado), ModernBERT Large alcanzó un 90.0% de precisión.
  • En el dataset sintético, Llama 3.1 8B Instruct logró un 89.3% de precisión.
• Generación vs. Clasificación: Los modelos generativos (LLM-Gen) mostraron una precisión ligeramente inferior (5-10 puntos menos) y una mayor tasa de falsos negativos (denegar acceso a usuarios legítimos), lo que indica una aplicación de seguridad más estricta pero menos flexible.
• Robustez: Los modelos basados en LLMs instruidos (Instruction-tuned) demostraron mayor estabilidad y menor varianza que los modelos BERT puros, especialmente en el dataset sintético más complejo.

Resistencia a Ataques

• Roles aleatorios/externos: Todos los métodos alcanzaron casi un 100% de precisión al rechazar roles que no existen en la jerarquía.
• Desajustes sutiles: La detección de roles existentes pero incorrectos (ej. un gerente de marketing intentando acceder a datos de IT) fue más difícil, con una precisión promedio del 70-80% para los mejores modelos.
• Jailbreaks: La inclusión de ejemplos de "jailbreak" en el entrenamiento mejoró significativamente la resistencia a la inyección de prompts (aumentando la precisión de 70% a 87% en ciertos casos).
• Codificación de roles: La Codificación Numérica Jerárquica resultó ser la menos robusta (mayor tasa de falsos positivos y negativos), mientras que las codificaciones basadas en nombres permitieron una mejor generalización, aunque son más vulnerables a perturbaciones adversarias en el texto.

Calidad de la Generación

• La inclusión de la información del rol en el prompt no degradó significativamente la calidad de la respuesta (precisión, completitud y claridad), manteniendo puntuaciones altas (cerca de 4/5) en las respuestas autorizadas.

5. Significado e Implicaciones

Este trabajo es fundamental para la adopción segura de LLMs en el sector empresarial. Demuestra que:

1. Es posible alinear el comportamiento de los LLMs con políticas de seguridad organizacional estrictas sin sacrificar la utilidad del modelo.
2. La arquitectura de clasificación basada en LLMs (LLM-Cls) ofrece el mejor equilibrio entre seguridad, precisión y estabilidad.
3. Las soluciones de seguridad para LLMs deben ir más allá de la filtración de contenido tóxico para incluir el control de acceso contextualizado basado en la identidad del usuario.

Limitaciones y Futuro: El estudio se centra en el ajuste fino (SFT) y no explora métodos de alineación posteriores como DPO, ni la integración con fuentes de conocimiento externo (RAG). Además, el sistema actual requiere reentrenamiento si se añaden nuevos roles dinámicamente, lo que sugiere la necesidad de futuras investigaciones en adaptadores modulares o actualizaciones en tiempo real.