From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

No mundo industrial moderno, as empresas enfrentam uma montanha crescente de regras concebidas para proteger o planeta e a privacidade das pessoas. Para provar que estão seguindo essas regras, as empresas devem criar documentos específicos, frequentemente chamados de artefatos de conformidade. Pense neles como relatórios detalhados que atuam como um passaporte para um produto ou uma auditoria de segurança para um sistema de computador. Uma regra europeia importante exige um passaporte digital para cada bateria vendida, listando exatamente quais materiais estão em seu interior e como reciclá-los. Outra regra exige uma avaliação de risco para qualquer sistema que lide com dados pessoais, garantindo que as informações privadas das pessoas estejam seguras. Criar esses documentos manualmente é difícil porque os dados necessários estão espalhados por muitos sistemas de computador diferentes e vêm em formatos desordenados e inconsistentes. À medida que as empresas lutam com essa papelada, elas recorreram à inteligência artificial, especificamente aos modelos de linguagem de grande escala, para escrever esses relatórios por elas. Esses programas de computador são excelentes em ler texto e gerar novos conteúdos, mas permanece incerto se eles podem ser confiados para seguir instruções legais estritas sem inventar coisas ou omitir detalhes críticos.

Uma equipe de pesquisadores partiu para testar exatamente quão bem essas ferramentas de inteligência artificial desempenham quando solicitadas a escrever esses relatórios obrigatórios. Eles focaram em dois tipos de documentos muito diferentes para ver se a natureza das instruções alterava o resultado. O primeiro era um Passaporte Digital de Bateria, um documento com uma estrutura muito clara e rígida definida pelos reguladores. O segundo era uma Avaliação de Impacto sobre a Proteção de Dados, um documento exigido pelas leis de privacidade que é muito mais aberto e vago em suas instruções. Os pesquisadores forneceram a cinco modelos diferentes de inteligência artificial uma série de tarefas. Em alguns casos, deram aos modelos uma instrução simples e breve para escrever o relatório. Em outros casos, forneceram um guia longo e detalhado que explicava exatamente quais informações eram necessárias e como formatá-las. Eles realizaram esses testes várias vezes para ver se os modelos produziriam o mesmo resultado todas as vezes e, em seguida, verificaram se os relatórios gerados continham todas as informações legalmente exigidas.

Os resultados revelaram uma divisão acentuada entre como os modelos lidaram com os dois tipos de documentos. Quando solicitados a criar o Passaporte Digital de Bateria, os sistemas de inteligência artificial foram notavelmente consistentes. Como as regras para este documento eram tão específicas, os modelos produziram resultados quase idênticos, independentemente de as instruções serem curtas ou longas. Eles extraíram com sucesso os dados necessários sobre os materiais da bateria e os formataram corretamente quase todas as vezes. No entanto, a história mudou completamente quando os modelos enfrentaram a Avaliação de Impacto sobre a Proteção de Dados. Aqui, a falta de uma estrutura rígida fez com que os modelos tivessem dificuldade em manter a consistência. Ao receberem apenas o texto regulamentador básico sem orientação adicional, os modelos frequentemente produziram relatórios que omitiam seções importantes ou variavam drasticamente de uma tentativa para outra. Os pesquisadores descobriram que, para essas tarefas vagas, fornecer ao modelo mais contexto e exemplos específicos era essencial para obter um resultado confiável. Sem essa ajuda extra, os modelos tendiam a deixar de fora detalhes importantes, como como lidar com limites de armazenamento de dados ou como avaliar riscos aos indivíduos.

Uma das descobertas mais impressionantes foi como os modelos reagiram ao nível de detalhe nas instruções. Para o passaporte de bateria rigoroso, adicionar mais detalhes ao comando não alterou significamente a qualidade do resultado, mas pode levar a mais alucinações no conteúdo gerado. Para a avaliação de privacidade, no entanto, o oposto foi verdadeiro. Os modelos precisavam desse contexto extra para desempenhar bem. Quando as instruções eram muito vagas, os modelos frequentemente falhavam em incluir seções obrigatórias, sugerindo que a linguagem jurídica atual é ampla demais para que essas ferramentas a interpretem de forma confiável por conta própria. O estudo também destacou que diferentes modelos de inteligência artificial se comportaram de maneira distinta; alguns foram consistentemente confiáveis em todas as tarefas, enquanto outros foram propensos a omitir informações importantes quando as instruções não eram cristalinas.

Em última análise, a pesquisa sugere que o sucesso do uso da inteligência artificial para conformidade legal depende fortemente do tipo de documento que está sendo criado. Para tarefas altamente estruturadas, como o passaporte de bateria, a tecnologia está pronta para ser usada com configuração mínima. Mas para tarefas complexas e de natureza aberta, como avaliações de privacidade, simplesmente pedir ao computador para seguir a lei não é suficiente. Os pesquisadores concluíram que, para fazer essas ferramentas funcionarem efetivamente para as partes vagas da regulamentação, as empresas devem investir tempo na elaboração de comandos detalhados e específicos que guiem a inteligência artificial através das etapas necessárias. Até que as próprias regulamentações se tornem mais específicas sobre o que esses documentos devem conter, ou até que a forma como instruímos essas máquinas melhore, o uso da inteligência artificial para conformidade permanecerá uma mistura de alta confiabilidade para algumas tarefas e risco significativo para outras.