Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad
Este estudio revela que el razonamiento de cadena de pensamiento químico en los modelos de lenguaje funciona como un borrador molecular propenso a las alucinaciones donde las afirmaciones estructurales fabricadas son comunes pero causalmente fundamentales para generar respuestas correctas, lo que requiere una supervisión a nivel de proceso sobre la simple evaluación de la respuesta.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el vasto paisaje de la inteligencia artificial, una nueva generación de modelos ha aprendido a pensar antes de hablar. En lugar de saltar directamente a una respuesta, estos sistemas son entrenados para escribir un proceso de razonamiento paso a paso, de forma muy similar a un estudiante que resuelve un problema matemático en una hoja de borrador. Este método, conocido como razonamiento de cadena de pensamiento (chain-of-thought reasoning), se ha convertido en una forma estándar para ayudar a las computadoras a resolver acertijos complejos. En el campo de la química, donde las moléculas son los bloques de construcción de la vida y la medicina, esta capacidad es particularmente prometedora. Los científicos esperan que, si una computadora puede explicar su lógica para diseñar un nuevo fármaco o identificar una estructura química, los expertos humanos puedan verificar esa lógica en busca de errores. El supuesto ha sido que, si la respuesta final es correcta, el razonamiento utilizado para llegar a ella también debe ser confiable.
Sin embargo, un estudio reciente desafía este reconfortante supuesto. Investigadores de instituciones que incluyen la Universidad Nacional de Singapur y la Universidad Politécnica de Hong Kong investigaron si estos modelos de IA están razonando verdaderamente a través de problemas químicos o si simplemente están inventando cosas por el camino. Se centraron en un tipo específico de error llamado alucinación, donde un modelo afirma con confianza un hecho que simplemente no es cierto. En el contexto de la química, esto podría verse como un modelo que afirma que una molécula contiene un grupo químico específico, como un ácido carboxílico, cuando ese grupo está en realidad ausente de la estructura. Debido a que las estructuras químicas son precisas y pueden verificarse contra una base de datos conocida, este campo ofrece una oportunidad única para probar si la explicación de una IA coincide con la realidad. Los investigadores querían saber: cuando un modelo obtiene la respuesta correcta, ¿es porque comprendió la química, o simplemente adivinó la forma correcta mientras inventaba una historia falsa para justificarla?
Para encontrar la respuesta, el equipo analizó cuatro familias diferentes de modelos de razonamiento a través de doce tareas químicas distintas, que van desde la descripción de moléculas hasta el diseño de nuevas moléculas. Construyeron un sistema para leer el razonamiento escrito de los modelos y verificar cada afirmación química contra las estructuras moleculares reales involucradas. Lo que descubrieron fue sorprendente. Las alucinaciones eran generalizadas. En muchos casos, los modelos producían la estructura molecular perfectamente correcta pero incluían detalles químicos fabricados en su explicación escrita. Por ejemplo, en una tarea que implicaba la generación de moléculas a partir de descripciones textuales, aproximadamente el 13 por ciento de las respuestas de un modelo líder fueron exactamente correctas en su salida final, pero el texto de razonamiento que las acompañaba contenía al menos una afirmación química inventada. El estudio encontró que la presencia de estas mentiras casi no tenía conexión con si la respuesta final era correcta o incorrecta. Un modelo podía ser completamente preciso en su resultado mientras su razonamiento estaba plagado de falsedades, o podía estar equivocado en su resultado mientras su razonamiento era limpio.
Esta desconexión sugiere que el razonamiento escrito no siempre es un registro fiel de cómo el modelo llegó a su conclusión. Para entender por qué sucede esto, los investigadores realizaron una serie de experimentos donde alteraron deliberadamente las salidas de los modelos. Tomaron el texto del razonamiento escrito y sustituyeron los nombres de los grupos químicos por otros incorrectos. Sorprendentemente, cambiar estas afirmaciones verbales tuvo muy poco efecto en la respuesta final que producía el modelo. El modelo parecía ignorar su propia explicación escrita al momento de generar la estructura final. Sin embargo, cuando cambiaron la entrada original o los bocetos estructurales internos que el modelo escribió, la respuesta final cambió dráicamente. Esto reveló que los modelos no estaban dependiendo de su propia prosa para resolver el problema. En su lugar, estaban utilizando el espacio de razonamiento como una especie de borrador molecular.
Los investigadores descubrieron que los modelos estaban escribiendo fragmentos de estructuras químicas, a menudo en un formato llamado SMILES, que es una forma de representar moléculas como cadenas de texto. Estos fragmentos actuaban como notas intermedias que el modelo utilizaba para construir la respuesta final. Mientras que las oraciones legibles que describían la química eran a menudo poco fiables y propensas a la fabricación, estos borradores estructurales cargaban con el peso real del cómputo. Diferentes modelos utilizaban este borrador de distintas maneras. Algunos dependían fuertemente de estos fragmentos estructurales basados en texto, mientras que otros parecían centrarse más en pistas químicas más amplias, como la forma de la molécula o la posición de partes específicas. El estudio mostró que la explicación legible es a menudo una racionalización post-hoc —una historia contada después del hecho— mientras que el trabajo real ocurre en estos borradores estructurales ocultos.
Las implicaciones de este hallazgo son significativas para la forma en que confiamos y utilizamos la inteligencia artificial en la ciencia. Si un modelo puede producir un candidato a fármaco correcto mientras miente sobre los grupos químicos que utilizó, confiar únicamente en la respuesta final es arriesgado. Un químico humano que lea la explicación podría ser engañado por los detalles fabricados, asumiendo que el modelo comprendió la química cuando no fue así. Los investigadores demostraron que es posible entrenar a los modelos para que sean más honestos. Al crear un nuevo método de entrenamiento que recompensa al modelo solo cuando su razonamiento no contiene afirmaciones fabricadas, produjeron una versión del modelo que cometía muchos menos errores en sus explicaciones sin perder su capacidad para resolver los problemas. Este nuevo enfoque, al que llamaron Chem-R-Faithful, redujo significamente la tasa de afirmaciones fabricadas manteniendo un alto rendimiento en las tareas.
En última instancia, este trabajo revela que el razonamiento de cadena de pensamiento en química no es ni una explicación perfecta ni un subproducto inútil. Es un espacio de trabajo complejo y propenso a las alucinaciones donde el modelo redacta su solución. El texto legible es a menudo poco fiable, pero las notas estructurales ocultas dentro de ese texto son cruciales para obtener la respuesta correcta. Esto significa que para confiar verdaderamente en una IA en la ciencia, no podemos limitarnos a mirar el resultado final o la historia escrita. Debemos desarrollar nuevas formas de verificar el proceso mismo, comprobando los borradores estructurales y la lógica detrás de escena. A medida que estas herramientas se vuelvan más comunes en el descubrimiento de fármacos y el diseño molecular, comprender que la traza de razonamiento es un borrador de trabajo y no un informe final será esencial para garantizar la seguridad y la precisión de las sustancias químicas del futuro.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.