Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences

En el mundo de alto riesgo de la fabricación farmacéutica, donde un solo error puede comprometer la seguridad del paciente, las empresas dependen de reglas estrictas para asegurar que cada paso en la creación de un fármaco sea perfecto. Durante décadas, estas reglas se han basado en la idea del determinismo: si introduces un conjunto específico de ingredientes en una máquina, obtienes exactamente el mismo resultado cada vez. Si algo sale mal, los ingenieros pueden rastrear el fallo hasta un engranaje roto o un sensor desalineado. Pero un nuevo tipo de tecnología está cambiando el panorama. Los modelos de lenguaje extensos, el mismo tipo de inteligencia artificial que puede escribir poesía o resumir informes complejos, están comenzando a entrar en estos entornos regulados. A diferencia de las máquinas antiguas, estos sistemas son probabilísticos. No calculan una única respuesta correcta; en su lugar, predicen la palabra más probable que sigue en una oración basándose en patrones que han aprendido. Esto significa que, incluso cuando se les dan las mismas instrucciones exactas, el sistema podría producir un resultado ligeramente diferente y potencialmente incorrecto. El desafío para los reguladores y expertos en calidad es que las herramientas antiguas para encontrar y corregir errores fueron diseñadas para máquinas que nunca adivinan, no para sistemas que constantemente estiman.

Una investigadora llamada Kayla Britt ha propuesto una nueva forma de gestionar esta incertidumbre, específicamente para estos sistemas de IA utilizados en las ciencias de la vida. El problema central que ella aborda es que los sistemas de calidad actuales carecen del lenguaje para describir qué sucede cuando una IA comete un error. Si un programa de software tradicional falla, suele ser un "error de software" claro. Pero cuando una IA alucina un documento que parece real pero no lo es, o ignora una instrucción crucial porque estaba segura de saberlo mejor, las etiquetas antiguas no encajan. Esta confusión hace que sea imposible investigar adecuadamente la causa raíz o solucionar el problema. Para resolver esto, Britt introduce un nuevo sistema de clasificación, un mapa bidimensional que desglosa los fallos de la IA en dos categorías específicas: el tipo de error que ocurrió y el punto exacto en la arquitectura del sistema donde comenzó.

Imagina una cuadrícula donde un lado enumera seis formas diferentes en las que una IA puede fallar, como inventar hechos, malinterpretar un contexto o ser excesivamente confiada en su respuesta. El otro lado enumera seis lugares diferentes donde el fallo podría haberse originado, como los datos con los que se entrenó el modelo, el sistema que recupera información o la forma en que la IA interactúa con los usuarios humanos. Al cruzar estas dos listas, el marco crea treinta y seis "celdas" específicas donde se puede registrar cualquier error dado. Esto permite que un ingeniero de calidad diga no solo que la IA falló, sino precisamente que cometió un "error de fabricación" (inventar un hecho) que se originó en la etapa de "inferencia del modelo" (el momento en que la IA generó el texto). Este nivel de detalle transforma una queja vaga en una herramienta de diagnóstico específica, permitiendo a los equipos comprender exactamente cómo se rompió el sistema.

El artículo va más allá al reconocer que no todos los errores de la IA pueden eliminarse por completo. Debido a que estos sistemas se construyen sobre la probabilidad, algunos errores son inherentes a su diseño y no pueden eliminarse mediante ingeniería por completo. El marco introduce el concepto de una "puerta de irreductibilidad" para separar los errores que pueden corregirse con mejor codificación o datos de aquellos que deben gestionarse limitando dónde y cómo se utiliza el sistema. Si un fallo se considera "irreducible", la solución no es intentar forzar a la IA a ser perfecta, sino restringir su alcance para que, incluso si comete un error, las consecuencias estén contenidas. Por ejemplo, si una IA es propensa a inventar citas médicas, el sistema podría diseñarse para permitir únicamente que resuma textos que ya han sido verificados por un humano, en lugar de dejar que genere nuevas citas por su cuenta.

Para probar este enfoque, la autora recorre un escenario práctico que involucra a una empresa farmacéutica que utiliza una IA para resumir registros de fabricación. En este caso, la IA identificó correctamente un problema de temperatura en un registro de lote, pero luego inventó una razón falsa para ello, alegando que una válvula había fallado cuando el registro en realidad decía que se trataba de un error humano. Utilizando la nueva taxonomía, el equipo podría determinar que esto fue un error de "fabricación" originado en la capa de "inferencia del modelo", en lugar de un simple fallo de software. Este diagnóstico específico condujo a una solución dirigida: añadir un paso de verificación que compruebe si el texto generado por la IA coincide con los hechos en el documento fuente antes de mostrarlo a un humano. Esta es una solución más efectiva que una orden genérica de "revisar el software".

El marco propuesto también alinea estos nuevos métodos con el proceso de tres etapas utilizado por la Administración de Alimentos y Medicamentos de los EE. UU. (FDA) para validar procesos de fabricación. En lugar de intentar demostrar que la IA nunca fallará, el nuevo método se centra en demostrar que los fallos de la IA se mantienen dentro de un límite conocido y seguro. Esto implica probar el sistema con muchas variaciones de la misma entrada para ver cuánto varía la salida, asegurando que la variación sea lo suficientemente pequeña como para ser segura. Si el sistema se mantiene dentro de estos límites, puede ser aprobado para su uso, siempre que los humanos sigan presentes en el proceso para detectar los errores raros que se filtren.

Este trabajo sugiere que el futuro de la IA segura en la medicina no reside en intentar que estos sistemas probabilísticos se comporten como máquinas deterministas, lo cual es probablemente imposible. En su lugar, reside en aceptar su naturaleza, mapear sus debilidades específicas con precisión y construir controles que trabajen con sus limitaciones. Al dotar a los equipos de calidad de un vocabulario claro y una forma estructurada de categorizar los fallos, el marco proporciona un camino a seguir para utilizar herramientas poderosas sin comprometer la seguridad de los medicamentos en los que confiamos. El artículo concluye que, aunque la tecnología aún está evolucionando, tener una forma estandarizada de definir, registrar y gestionar estos errores es el primer paso esencial para mantenerlos bajo control.