Resumen Técnico: Atajos Morfológicos de los LLM en Farmacología

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) generalizan frecuentemente a partir de la estructura morfológica de las palabras (prefijos, sufijos y raíces) para inferir significados. Si bien esta capacidad refleja el procesamiento lingüístico humano, plantea riesgos de seguridad significativos en dominios de alto riesgo como la farmacología. En medicina, la nomenclatura de los fármacos es altamente sistemática; el sistema de Nombres No Propietarios Internacionales (INN) de la Organización Mundial de la Salud estandariza los afijos para señalar clases farmacológicas o químicas específicas. Este artículo investiga si los LLM dependen de estos "atajos" morfológicos para generar contenido clínico con apariencia de confianza y verosimilitud para fármacos ficticios, lo que podría conducir a una sobregeneralización y alucinación peligrosas. A diferencia de trabajos previos centrados en la productividad lingüística, este estudio examina las consecuencias en el mundo real de tales inferencias en entornos médicos sensibles a la seguridad.

Metodología

1. Estímulos y Construcción del Conjunto de Datos

Los autores construyeron un conjunto de datos controlado utilizando 655 afijos médicos de la lista de la Asociación Médica Estadounidense (AMA). Crearon tres condiciones de estímulo paralelas para cada afijo:

• Fármacos Reales: Medicamentos atestiguados (p. ej., ampicilina).
• Fármacos Falsos: Raíces de palabras no existentes (nonce) combinadas con afijos farmacológicos reales (p. ej., dimicilina, donde "dimi-" es una raíz inexistente y "-cillina" es un afijo antibiótico real).
• Palabras de No Existencia (Nonce Words): Raíces inexistentes combinadas con afijos inexistentes de la misma longitud (p. ej., dimiglimto), que sirven como control sin morfología farmacológica.

2. Análisis de Comportamiento

El estudio evaluó nueve LLM (incluyendo Llama-3.1, Gemini, GPT-5-mini, OLMo, Qwen2.5 y variantes especializadas en medicina) a través de dos tareas:

• Opción Múltiple (MC): Los modelos seleccionaban entre una definición consistente con el afijo, distractores y una opción de "fármaco inexistente".
• Abierta (OE): Los modelos respondían a consultas de usuario naturales (p. ej., "¿Es {fármaco} efectivo para tratar {condición}?"). Un juez LLM (Claude-Sonnet-4.5) evaluó si las respuestas trataban a los fármacos ficticios como reales.

3. Marco de Diagnóstico

Para determinar la fuente del conocimiento de un modelo (afijo, raíz o holístico), los autores introdujeron un marco basado en perturbaciones. Para cada fármaco real ($RR$), generaron variantes reemplazando la raíz ($NR$), el afijo ($RN$) o ambos ($NN$) con formas inexistentes. Definieron tres puntuaciones normalizadas:

• Puntuación del Afijo: La contribución del afijo por sí solo a la predicción del modelo.
• Puntuación de la Raíz: La contribución de la raíz por sí sola.
• Puntuación Holística: El efecto de interacción (sinergia) entre la raíz y el afijo correctos.

4. Análisis Mecanicista

Utilizando activation patching y Búsqueda de Alineación Distribuida (DAS) en OLMo-3-7B-Instruct y Qwen2.5-7B-Instruct, los autores localizaron los mecanismos causales que impulsan el comportamiento dependiente del afijo. Midieron cómo la restauración de las señales morfológicas en entradas corruptas afectaba las probabilidades de los tokens objetivo e identificaron direcciones direccionables en las representaciones internas del modelo.

Resultados Clave

Hallazgos de Comportamiento

• Generalización Impulsada por el Afijo: Los modelos trataron consistentemente a los fármacos ficticios (Falsos) como reales, seleccionando definiciones consistentes con el afijo y generando contenido clínico con confianza. Este comportamiento fue significativamente más fuerte que las respuestas a palabras de no existencia (Nonce words), confirmando que las estructuras de afijos válidas impulsan la aceptación.
• Varianidad de los Modelos: Los modelos médicos especializados (p. ej., Meditron3-7B, HuatuoGPT) exhibieron la sobregeneralización más fuerte, tratando a menudo los inputs Falsos, Reales e incluso de No Existencia de manera similar como medicamentos válidos. Los modelos más grandes (p. ej., Llama-3.1-70B) mostraron una generalización más fuerte en tareas de opción múltiple.
• Razonamiento Silencioso: En la tarea MC, los modelos seleccionaron frecuentemente definiciones consistentes con el afijo sin mencionar explícitamente el afijo en sus explicaciones. Esto sugiere que las claves morfológicas operan implícitamente, y las explicaciones superficiales sirven como racionalizaciones post-hoc.
• Confluencia Fáctica: En las tareas OE, los modelos a menudo confluyeron propiedades entre diferentes fármacos que comparten el mismo afijo (p. ej., atribuyendo los mecanismos de un fármaco "-ciclib" a otro), lo que conduce a consejos médicos plausibles pero fácticamente incorrectos.

Hallazgos del Marco de Diagnóstico

• Prevalencia de la Dependencia del Afijo: A través de 653 fármacos, una gran proporción del comportamiento del modelo fue impulsada principalmente por las claves del afijo en lugar del conocimiento holístico específico del fármaco.
• Dependencia de la Tarea: En las tareas MC, los modelos dependieron fuertemente de la semántica del afijo para la categorización. En las tareas OE, la dependencia se desplazó hacia el conocimiento holístico, aunque persistieron los errores impulsados por el afijo.
• Correlación de Entrenamiento: Las señales holísticas correlacionaron positivamente con la frecuencia del fármaco en el corpus de entrenamiento, mientras que las señales morfológicas (afijo/raíz) mostraron correlaciones negativas, sugiriendo que los fármacos de baja frecuencia son más susceptibles a los atajos morfológicos.

Hallazgos Mecanicistas

• Localización: El activation patching reveló que las heurísticas impulsadas por el afijo están localizadas en las capas iniciales y medias (aproximadamente capas 2–10) del transformador.
• Mecanismo de Dos Etapas: La información del afijo se integra primero en la representación del sujeto en las capas iniciales y posteriormente se propaga al token de predicción final.
• Control Causal: DAS identificó direcciones de bajo rango en estas capas iniciales-medias que podían modular bidireccionalmente la dependencia del afijo. Dirigir estas direcciones podía cambiar las predicciones del modelo de "consistente con el afijo" a "inexistente" y viceversa, confirmando un vínculo causal.
• Dinámicas de Entrenamiento: Las señales de clase impulsadas por el afijo emergieron temprano durante el entrenamiento y se generalizaron robustamente a los fármacos falsos, mientras que las representaciones holísticas emergieron más tarde y permanecieron ligadas a identidades de fármacos específicos.

Significado y Reivindicaciones

El artículo argumenta que los atajos morfológicos representan un riesgo sutil pero medible para la fiabilidad de los LLM en entornos médicos. Las afirmaciones clave incluyen:

1. Naturaleza Sistemática: Los atajos impulsados por afijos no son errores aleatorios, sino comportamientos sistemáticos donde los modelos inducen el significado del fármaco principalmente a través de claves morfológicas, a menudo sin indicación explícita.
2. Implicaciones de Seguridad: Estos atajos permiten a los modelos generar contenido clínico con apariencia de confianza y verosimilitud para fármacos inexistentes, lo que potencialmente conduce a desinformación peligrosa. La dependencia de la morfología es a menudo invisible al nivel de la salida, lo que dificulta su detección mediante auditorías de salida estándar.
3. Transparencia Mecanicista: El estudio demuestra que estos comportamientos pueden localizarse mecánicamente y controlarse causalmente usando los componentes internos del modelo, ofreciendo un objetivo para futuras intervenciones de seguridad y herramientas de auditoría.
4. Limitaciones: Los autores señalan que su marco de diagnóstico requiere acceso a las probabilidades de los tokens (logits), lo que limita el análisis a modelos de código abierto o transparentes. Además, los experimentos mecanicistas se realizaron en modelos de escala 7B, y la generalizabilidad a arquitecturas más grandes sigue siendo una cuestión abierta.

El trabajo proporciona un marco para auditar el comportamiento de los LLM médicos y destaca la necesidad de distinguir entre el conocimiento farmacológico genuino y la extrapolación de la forma superficial en aplicaciones críticas para la seguridad.