Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage

No mundo moderno da inteligência artificial, as ferramentas mais poderosas são os grandes modelos de linguagem, sistemas capazes de compreender e gerar texto semelhante ao humano. Esses modelos são treinados em vastas quantidades de dados, mas esses dados muitas vezes estão trancados em silos privados. Hospitais detêm registros sensíveis de pacientes, bancos guardam históricos financeiros e governos protegem informações de cidadãos. Devido às rigorosas leis de privacidade e preocupações de segurança, essas organizações não podem simplesmente compartilhar seus dados para treinar uma inteligência compartilhada melhor. Isso cria um dilema: como as instituições podem colaborar para melhorar essas ferramentas poderosas sem jamais revelar suas informações privadas? A resposta reside em um método chamado aprendizado federado. Em vez de mover os dados para um computador central, o modelo de computador viaja até os dados. Cada organização treina o modelo em sua própria informação local e envia apenas os pequenos ajustes matemáticos atualizados de volta para um coordenador central. Isso mantém os dados brutos seguros, mas introduz um novo problema: como você confia nas atualizações que recebe? Se uma organização enviar uma atualização corrompida ou falsa, ou se um arquivo for roubado e alterado em trânsito, todo o modelo compartilhado poderá ser comprometido. Além disso, armazenar essas atualizações massivas é difícil; elas são grandes demais para serem mantidas em um registro público, mas precisam de um registro permanente e imutável para provar que são genuínas.

Pesquisadores desenvolveram um novo framework para resolver esse quebra-cabeça de confiança e armazenamento, combinando duas tecnologias distintas para criar um sistema seguro para colaboração entre organizações. A equipe, liderada por Xiaoli Li e colegas da Universidade de Artes e Ciências de Hubei, projetou um sistema que divide o trabalho em duas partes: um certificado confiável e um cofre de armazenamento seguro. Eles utilizam uma blockchain de consórcio, que é um registro digital compartilhado mantido por um grupo de organizações conhecidas e confiáveis, para atuar como o certificado. No entanto, em vez de escrever os arquivos de modelo massivos diretamente neste registro — o que seria lento, caro e tecnicamente impossível para dados grandes — eles escrevem apenas uma impressão digital minúscula e única do arquivo. Essa impressão digital, conhecida como hash criptográfico, serve como um selo de autenticidade. Se um único bit do arquivo do modelo mudar, a impressão digital muda completamente, alertando todos que o arquivo foi adulterado. Os dados reais do modelo, que podem ter vários megabytes de tamanho, são armazenados fora da blockchain em um sistema de armazenamento distribuído e resiliente. Essa separação permite que o sistema mantenha o registro pequeno e rápido, garantindo ao mesmo tempo que os dados pesados permaneçam acessíveis e seguros.

Para tornar esse armazenamento off-chain robusto, os pesquisadores dividiram cada arquivo de modelo em pedaços menores, ou shards, antes de enviá-los para o armazenamento. Imagine um documento grande sendo cortado em várias páginas; se uma página for perdida ou danificada, as outras ainda podem ser usadas para recuperar o todo. Esses shards são criptografados para que apenas partes autorizadas possam lê-los, e são copiados para múltiplos locais independentes. O sistema é projetado de modo que, se um nó de armazenamento falhar, ou mesmo se um grupo inteiro de nós cair devido a uma queda de energia ou problema de rede, as outras cópias em diferentes locais garantem que o arquivo nunca seja perdido. Quando uma organização deseja recuperar uma atualização de modelo, o sistema verifica primeiro a blockchain para confirmar a identidade do arquivo e depois busca os shards da rede de armazenamento. O destinatário pode então verificar se as peças correspondem à impressão digital original registrada na blockchain. Esse processo inclui tanto verificações offline, onde o arquivo é verificado sem precisar de conexão com a internet, quanto verificações online, que confirmam se o arquivo ainda é válido e não foi revogado.

A equipe testou este framework usando um tipo específico de atualização de modelo eficiente chamado LoRA, que ajusta apenas uma pequena parte dos parâmetros de um grande modelo de linguagem. Eles realizaram experimentos com dez organizações participantes, simulando um cenário do mundo real onde os dados são distribuídos de forma desigual. Eles testaram diferentes níveis de ajuste de modelo para ver qual produzia os melhores resultados. Os experimentos mostraram que uma configuração específica, onde o modelo foi ajustado com um rank de oito, alcançou a pontuação de desempenho mais alta em tarefas não vistas, atingindo uma pontuação de 4,40 em uma escala de dez pontos. Esta configuração superou outras configurações, sugerindo que oferecia o melhor equilíbrio para este tipo de treinamento colaborativo. Mais importante ainda, o estudo mediu o custo e a velocidade do seu novo método de armazenamento em comparação com abordagens tradicionais. Eles descobriram que armazenar apenas os metadados minúsculos na blockchain reduziu o custo computacional, conhecido como consumo de gás, por um fator de mais de 10.000 em comparação com tentar armazenar o arquivo completo de 8,8 megabytes diretamente na rede. Embora o arquivo completo fosse armazenado off-chain, o sistema também conseguiu acelerar o processo de armazenamento em quase 30 por cento ao fazer o upload dos shards do arquivo em paralelo, em vez de um por um.

Os resultados demonstram que separar a prova da identidade de um arquivo do próprio arquivo é uma solução prática para o futuro da inteligência artificial colaborativa. Ao manter os dados pesados fora da blockchain e usar um sistema de armazenamento em shards seguro para os arquivos reais, os pesquisadores criaram um fluxo de trabalho que é ao mesmo tempo confiável e eficiente. O sistema garante que cada atualização de modelo possa ser rastreada até sua origem e verificada quanto à integridade sem sobrecarregar a rede ou expor dados privados. Embora o tempo total para completar um ciclo completo de armazenamento e verificação tenha sido ligeiramente mais longo devido às etapas extras de fragmentação e checagem, a redução massiva no custo e o aumento na confiabilidade tornam a abordagem viável para o uso no mundo real. O trabalho sugere que, à medida que as organizações se tornam mais dispostas a colaborar em inteligência artificial, elas podem fazê-lo sem sacrificar a segurança ou a privacidade, desde que tenham um sistema que possa verificar a verdade dos dados sem precisar manter tudo em um só lugar. Este framework oferece um caminho a seguir onde as instituições podem construir melhores modelos juntas, confiantes de que as contribuições são genuínas e que os dados permanecem seguros.