Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences

No mundo de alto risco da fabricação farmacêutica, onde um único erro pode comprometer a segurança do paciente, as empresas dependem de regras estritas para garantir que cada etapa da criação de um medicamento seja perfeita. Por décadas, essas regras foram construídas sobre a ideia de determinismo: se você colocar um conjunto específico de ingredientes em uma máquina, obterá exatamente o mesmo resultado todas as vezes. Se algo der errado, os engenheiros conseguem rastrear a falha até uma engrenagem quebrada ou um sensor desalinhado. Mas um novo tipo de tecnologia está mudando o cenário. Os modelos de linguagem de grande escala, o mesmo tipo de inteligência artificial que pode escrever poesia ou resumir relatórios complexos, estão começando a entrar nesses ambientes regulados. Ao contrário das máquinas antigas, esses sistemas são probabilísticos. Eles não calculam uma única resposta correta; em vez disso, preveem a próxima palavra mais provável em uma frase com base em padrões que aprenderam. Isso significa que, mesmo quando recebem as mesmas instruções exatas, o sistema pode produzir um resultado ligeiramente diferente e potencialmente incorreto. O desafio para os reguladores e especialistas de qualidade é que as ferramentas antigas para encontrar e corrigir erros foram projetadas para máquinas que nunca adivinham, não para sistemas que constantemente estimam.

Uma pesquisadora chamada Kayla Britt propôs uma nova maneira de gerenciar essa incerteza, especificamente para esses sistemas de IA usados nas ciências da vida. O problema central que ela aborda é que os sistemas de qualidade atuais carecem de linguagem para descrever o que acontece quando uma IA comete um erro. Se um programa de software tradicional falha, geralmente é um "erro de software" claro. Mas quando uma IA alucina um documento que parece real, mas não é, ou ignora uma instrução crucial porque estava confiante de que sabia melhor, os rótulos antigos não se encaixam. Essa confusão torna impossível investigar adequadamente a causa raiz ou corrigir o problema. Para resolver isso, Britt introduz um novo sistema de classificação, um mapa bidimensional que divide as falhas da IA em duas categorias específicas: o tipo de erro que ocorreu e o ponto exato na arquitetura do sistema onde ele começou.

Imagine uma grade onde um lado lista seis maneiras diferentes de uma IA falhar, como inventar fatos, interpretar incorretamente um contexto ou ser excessivamente confiante em sua resposta. O outro lado lista seis lugares diferentes onde a falha poderia ter se originado, como os dados nos quais o modelo foi treinado, o sistema que recupera informações ou a forma como a IA interage com usuários humanos. Ao cruzar essas duas listas, o framework cria trinta e seis "células" específicas onde qualquer erro dado pode ser registrado. Isso permite que um engenheiro de qualidade diga não apenas que a IA falhou, mas precisamente que cometeu um "erro de fabricação" (inventar um fato) que se originou na etapa de "inferência do modelo" (o momento em que a IA gerou o texto). Esse nível de detalhe transforma uma reclamação vaga em uma ferramenta de diagnóstico específica, permitindo que as equipes entendam exatamente como o sistema quebrou.

O artigo vai além ao reconhecer que nem todos os erros de IA podem ser completamente eliminados. Como esses sistemas são construídos sobre probabilidade, alguns erros são inerentes ao seu design e não podem ser totalmente eliminados por meio de engenharia. O framework introduz o conceito de um "portão de irreduzibilidade" para separar erros que podem ser corrigidos com melhor codificação ou dados daqueles que devem ser gerenciados limitando onde e como o sistema é usado. Se uma falha for considerada "irredutível", a solução não é tentar forçar a IA a ser perfeita, mas sim restringir seu escopo para que, mesmo que cometa um erro, as consequências sejam contidas. Por exemplo, se uma IA é propensa a inventar citações médicas, o sistema pode ser projetado para permitir apenas que ela resuma textos que já foram verificados por um humano, em vez de deixá-la gerar novas citações por conta própria.

Para testar essa abordagem, a autora percorre um cenário prático envolvendo uma empresa farmacêutica que usa uma IA para resumir registros de fabricação. Neste caso, a IA identificou corretamente um problema de temperatura em um registro de lote, mas depois inventou um motivo falso para isso, alegando que uma válvula havia falhado, quando o registro dizia, na verdade, que era um erro humano. Usando a nova taxonomia, a equipe poderia identificar que isso foi um erro de "fabricação" originado na camada de "inferência do modelo", em vez de um simples erro de software. Esse diagnóstico específico levou a uma solução direcionada: adicionar uma etapa de verificação que checa se o texto gerado pela IA corresponde aos fatos no documento de origem antes de mostrá-lo a um humano. Esta é uma correção mais eficaz do que uma ordem genérica de "verificar o software".

O framework proposto também alinha esses novos métodos ao processo de três estágios usado pela FDA (Food and Drug Administration dos EUA) para validar processos de fabricação. Em vez de tentar provar que a IA nunca falhará, o novo método foca em provar que as falhas da IA permanecem dentro de um limite conhecido e seguro. Isso envolve testar o sistema com muitas variações da mesma entrada para ver o quanto a saída varia, garantindo que a variação seja pequena o suficiente para ser segura. Se o sistema permanecer dentro desses limites, ele pode ser aprovado para uso, desde que humanos ainda estejam no ciclo para capturar os erros raros que escaparem.

Este trabalho sugere que o futuro da IA segura na medicina não reside em tentar fazer com que esses sistemas probabilísticos se comportem como máquinas determinísticas, o que é provavelmente impossível. Em vez disso, reside em aceitar sua natureza, mapear suas fraquezas específicas com precisão e construir controles que trabalhem com suas limitações. Ao dar às equipes de qualidade um vocabulário claro e uma maneira estruturada de categorizar falhas, o framework oferece um caminho para usar ferramentas poderosas sem comprometer a segurança dos medicamentos em que confiamos. O artigo conclui que, embora a tecnologia ainda esteja evoluindo, ter uma forma padronizada de definir, registrar e gerenciar esses erros é o primeiro passo essencial para mantê-los sob controle.