Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

El cáncer de boca es una condición grave que requiere una atención precisa y coordinada. Cuando un paciente es diagnosticado, los médicos deben decidir una vía de tratamiento que a menudo involucra cirugía, radiación o medicación, dependiendo exactamente de dónde se encuentre el tumor y qué tanto se haya extendido. Estas decisiones se guían por reglas médicas estrictas conocidas como guías clínicas, las cuales son escritas por expertos para asegurar que cada paciente reciba la mejor atención posible basada en la ciencia más reciente. Recientemente, ha surgido un nuevo tipo de programa informático llamado modelo de lenguaje extenso. Estos programas pueden leer vastas cantidades de texto y escribir respuestas fluidas a preguntas, lo que lleva a muchos a preguntarse si podrían ayudar a los médicos a resumir reglas complejas o sugerir planes de tratamiento. Sin embargo, el hecho de que una computadora hable con claridad no significa que su consejo médico sea correcto. En el mundo de alto riesgo del cuidado del cáncer, una respuesta segura pero errónea podría ser peligrosa, lo que hace esencial probar si estas herramientas digitales pueden realmente comprender y aplicar las guías médicas.

Un equipo de investigadores de la Universidad de Jilin en China se propuso probar esta idea poniendo a trabajar a tres de los modelos de lenguaje extenso más avanzados en casos de cáncer oral. Eligieron tres modelos específicos: GPT-4o, DeepSeek-R1 y Grok-3. Para ver qué tan bien se desempeñaban estos programas, los investigadores crearon una prueba estandarizada basada en las guías oficiales de la Red Nacional Integral del Cáncer (National Comprehensive Cancer Network) para cánceres de cabeza y cuello. La prueba tenía dos partes principales. Primero, se les pidió a los modelos que actuaran como cirujanos expertos y explicaran las reglas para tratar el cáncer de boca a una persona sin formación médica. Debían cubrir las causas, cómo se detecta la enfermedad y los pasos para el tratamiento y la recuperación. Segundo, se les dieron a los modelos escenarios de cáncer oral estandarizados y viñetas clínicas, y se les pidió que proporcionaran un plan de manejo completo, incluyendo cuál debería ser el diagnóstico, cómo se debe estadificar la enfermedad y qué cirugía o radiación sería la apropiada.

Para juzgar las respuestas, tres experimentados cirujanos de cirugía oral y maxilofacial revisaron los resultados. Calificaron las respuestas en una escala de cero a diez para la tarea de resumen y en una escala de cero a cien para la tarea de gestión de casos, observando factores como la precisión, la claridad y si el plan de tratamiento seguía las reglas oficiales. Los resultados mostraron que los modelos se desempeñaron de manera diferente, y ningún programa fue perfecto en todo. En la tarea de resumir las guías para una audiencia general, el modelo DeepSeek-R1 recibió la puntuación general más alta de 8.8 sobre 10, seguido de GPT-4o con 8.3 y Grok-3 con 7.8. DeepSeek-R1 también obtuvo la puntuación más alta en áreas específicas como la claridad y el flujo lógico.

Cuando los modelos pasaron a la tarea más difícil de gestionar casos de pacientes específicos, las puntuaciones fueron más altas en general, pero las diferencias entre los modelos se volvieron más distintivas. DeepSeek-R1 nuevamente logró la puntuación integral más alta de 87.44 sobre 100. Se desempeñó particularmente bien al sugerir los planes de tratamiento correctos, planificar la extensión de la cirugía y evaluar el pronóstico, o el resultado probable, para el paciente. Grok-3 quedó en segundo lugar con una puntuación de 77.77, y GPT-4o recibió una de 68.61. Curiosamente, mientras que DeepSeek-R1 lideró en la mayoría de las categorías, Grok-3 recibió la puntuación más alta por sugerir la dosis de radiación correcta. Los investigadores también observaron que las puntuaciones de similitud de texto, que miden qué tan cerca estaban las palabras de la computadora de una respuesta de referencia, no siempre se alinearon con la precisión médica juzgada por los expertos humanos. Esto sugiere que una computadora puede escribir palabras que se ven muy similares a la respuesta correcta pero aun así equivocarse en los detalles médicos.

A pesar de las altas puntuaciones alcanzadas por el modelo con mejor desempeño, el estudio encontró fallas significativas que impiden que estas herramientas sean utilizadas como tomadores de decisiones independientes. Los tres modelos a veces confundieron el cáncer de boca con el cáncer de garganta, un error crítico porque los dos tipos de enfermedades se tratan de manera diferente. También inventaron ocasionalmente detalles específicos, como márgenes quirúrgicos exactos o esquemas de antibióticos, que no estaban respaldados por el caso del paciente o las guías oficiales. Los investigadores observaron que, si bien los modelos podían organizar bien la información, carecían del entendimiento contextual profundo requerido para adaptar un plan a la situación única de un paciente específico. El estudio concluye que estas herramientas de inteligencia artificial deben verse como asistentes que ayudan a los médicos a redactar planes o resumir información, en lugar de como doctores autónomos que puedan tomar la decisión final. Los autores enfatizan que los expertos humanos siempre deben verificar el resultado, y hacen un llamado a realizar estudios más amplios para refinar aún más cómo estas tecnologías pueden apoyar de manera segura el cuidado del cáncer.