Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage
Este artículo propone un marco de dos capas que desacopla la certificación de metadatos basada en blockchain del almacenamiento fragmentado fuera de la cadena para permitir el ajuste fino federado de modelos de lenguaje de gran tamaño entre organizaciones de manera confiable, rentable y verificable sin comprometer la privacidad de los datos ni la integridad del modelo.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo moderno de la inteligencia artificial, las herramientas más poderosas son los grandes modelos de lenguaje, sistemas capaces de comprender y generar texto de apariencia humana. Estos modelos se entrenan con enormes cantidades de datos, pero esos datos suelen estar encerrados en silos privados. Los hospitales custodian registros sensibles de pacientes, los bancos protegen historiales financieros y los gobiernos protegen la información de los ciudadanos. Debido a las estrictas leyes de privacidad y las preocupaciones de seguridad, estas organizaciones no pueden simplemente compartir sus datos para entrenar una inteligencia compartida mejorada. Esto crea un dilema: ¿cómo pueden las instituciones colaborar para mejorar estas poderosas herramientas sin revelar nunca su información privada? La respuesta reside en un método llamado aprendizaje federado. En lugar de mover los datos a una computadora central, el modelo de la computadora viaja hacia los datos. Cada organización entrena el modelo con su propia información local y envía únicamente los pequeños ajustes matemáticos actualizados de vuelta a un coordinador central. Esto mantiene seguros los datos brutos, pero introduce un nuevo problema: ¿cómo se confía en las actualizaciones que se reciben? Si una organización envía una actualización corrupta o falsa, o si un archivo es robado y alterado en tránsito, todo el modelo compartido podría verse comprometido. Además, almacenar estas actualizaciones masivas es difícil; son demasiado grandes para mantenerlas en un registro público, pero necesitan un registro permanente e inalterable para demostrar que son genuinas.
Los investigadores han desarrollado un nuevo marco para resolver este rompecabezas de confianza y almacenamiento, combinando dos tecnologías distintas para crear un sistema seguro de colaboración entre organizaciones. El equipo, liderado por Xiaoli Li y colegas de la Universidad de Artes y Ciencias de Hubei, diseñó un sistema que divide el trabajo en dos partes: un certificado de confianza y una bóveda de almacenamiento segura. Utilizan una cadena de bloques de consorcio (consortium blockchain), que es un registro digital compartido mantenido por un grupo de organizaciones conocidas y de confianza, para actuar como el certificado. Sin embargo, en lugar de escribir los archivos de modelos masivos directamente en este registro —lo cual sería lento, costoso y técnicamente imposible para datos grandes—, escriben solo una huella digital diminuta y única del archivo. Esta huella digital, conocida como hash criptográfico, sirve como un sello de autenticidad. Si incluso un solo bit del archivo del modelo cambia, la huella digital cambia por completo, alertando a todos que el archivo ha sido manipulado. Los datos reales del modelo, que pueden tener varios megabytes de tamaño, se almacenan fuera de la cadena de bloques (off-chain) en un sistema de almacenamiento distribuido y resiliente. Esta separación permite que el registro se mantenga pequeño y rápido mientras asegura que los datos pesados permanezcan accesibles y seguros.
Para hacer que este almacenamiento fuera de la cadena sea robusto, los investigadores dividieron cada archivo de modelo en piezas más pequeñas, o fragmentos (shards), antes de enviarlos al almacenamiento. Imagine un documento grande siendo cortado en varias páginas; si una página se pierde o se daña, las otras aún pueden usarse para recuperar el todo. Estos fragmentos están encriptados para que solo las partes autorizadas puedan leerlos, y se copian en múltiples ubicaciones independientes. El sistema está diseñado de tal manera que si un nodo de almacenamiento falla, o incluso si un grupo entero de nodos se cae debido a un corte de energía o un problema de red, las otras copias en diferentes ubicaciones aseguran que el archivo nunca se pierda. Cuando una organización quiere recuperar una actualización del modelo, el sistema verifica primero la cadena de bloques para confirmar la identidad del archivo y luego recupera los fragmentos de la red de almacenamiento. El receptor puede entonces verificar que las piezas coinciden con la huella digital original registrada en la cadena de bloques. Este proceso incluye tanto verificaciones fuera de línea (offline), donde el archivo se verifica sin necesidad de una conexión a Internet, como verificaciones en línea, que confirman que el archivo sigue siendo válido y no ha sido revocado.
El equipo probó este marco utilizando un tipo específico de actualización de modelo eficiente llamado LoRA, que ajusta solo una pequeña parte de los parámetros de un gran modelo de lenguaje. Realizaron experimentos con diez organizaciones participantes, simulando un escenario del mundo real donde los datos están distribuidos de manera desigual. Probaron diferentes niveles de ajuste del modelo para ver cuál producía mejores resultados. Los experimentos mostraron que una configuración específica, donde el modelo fue ajustado con un rango de ocho, logró la puntuación de rendimiento más alta en tareas no vistas, alcanzando una puntuación de 4.40 en una escala de diez puntos. Esta configuración superó a otros ajustes, lo que sugiere que ofrecía el mejor equilibrio para este tipo de entrenamiento colaborativo. Más importante aún, el estudio midió el costo y la velocidad de su nuevo método de almacenamiento frente a los enfoques tradicionales. Encontraron que almacenar solo los metadatos diminutos en la cadena de bloques redujo el costo computacional, conocido como consumo de gas, en un factor de más de 10,000 en comparación con intentar almacenar el archivo completo de 8.8 megabytes directamente en la cadena. Aunque el archivo completo se almacenó fuera de la cadena, el sistema también logró acelerar el proceso de almacenamiento en casi un 30 por ciento al cargar los fragmentos del archivo en paralelo en lugar de uno por uno.
Los resultados demuestran que separar la prueba de la identidad de un archivo del archivo mismo es una solución práctica para el futuro de la inteligencia artificial colaborativa. Al mantener los datos pesados fuera de la cadena de bloques y utilizar un sistema de almacenamiento fragmentado y seguro para los archivos reales, los investigadores crearon un flujo de trabajo que es tanto confiable como eficiente. El sistema asegura que cada actualización del modelo pueda rastrearse hasta su origen y verificarse por su integridad sin saturar la red ni exponer datos privados. Si bien el tiempo total para completar un ciclo completo de almacenamiento y verificación fue ligeramente más largo debido a los pasos adicionales de fragmentación y comprobación, la enorme reducción de costos y el aumento de la fiabilidad hacen que el enfoque sea viable para el uso en el mundo real. El trabajo sugiere que, a medida que las organizaciones se sientan más dispuestas a colaborar en inteligencia artificial, pueden hacerlo sin sacrificar la seguridad o la privacidad, siempre que tengan un sistema que pueda verificar la verdad de los datos sin necesidad de tener todo en un solo lugar. Este marco ofrece un camino a seguir donde las instituciones pueden construir mejores modelos juntas, con la confianza de que las contribuciones son genuinas y los datos permanecen seguros.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.