Opaque Epistemic Mediation: How LLM Deployment Configurations Shape the Validation of Pseudo-Science
Este artículo demuestra que los modelos de lenguaje de gran tamaño comerciales exhiben posturas epistémicas inestables y opacas hacia afirmaciones pseudocientíficas, donde los resultados de validación dependen de las configuraciones de despliegue, los tipos de interfaz y las actualizaciones silenciosas, en lugar de ser propiedades inherentes de los propios modelos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás caminando por una biblioteca gigante y bulliciosa donde los libros han sido escritos por bibliotecarios invisibles y superinteligentes. Estos no son bibliotecarios normales; son chatbots de Inteligencia Artificial (IA), entrenados con casi todo lo que los humanos han escrito jamás. Se están convirtiendo en nuestras fuentes de consulta para obtener respuestas, desde "cómo hornear un pastel" hasta "¿es verdadera esta teoría científica?". Pero aquí está el truco: no sabemos exactamente cómo estos bibliotecarios deciden qué es un hecho y qué es una ficción. No tienen un "cerebro" único e inmutable como el de un humano; en cambio, son más bien como una máquina compleja con muchos diferentes ajustes, filtros y reglas que la empresa puede modificar entre bastidores sin avisar a nadie. Este estudio se sumerge en un rincón específico de este misterio: cómo estos bibliotecarios de IA manejan la "pseudociencia" —ideas que parecen ciencia pero que en realidad son inventadas o rechazadas por científicos reales—, a menudo utilizadas para promover agendas políticas sobre raza y etnia. La gran pregunta no es solo si la IA conoce los hechos (que usualmente los conoce), sino si la forma en que la IA está configurada cambia su respuesta, haciendo que accidentalmente (o intencionalmente) le dé el visto bueno a la falsedad peligrosa.
Los investigadores decidieron jugar al juego de "detectar la mentira" con cuatro de las familias de IA más famosas: Claude, Grok, GPT y Gemini. Alimentaron a estos bots con una afirmación específica y engañosa basada en el trabajo de Frank Salter, una figura conocida por promover ideas etnonacionalistas que la biología convencional rechaza. La afirmación intentaba retorcer conceptos científicos reales (como el modo en que los animales ayudan a sus parientes) para argumentar que diferentes grupos étnicos son genéticamente distintos de una manera que justifica la separación. Para asegurarse de que los bots realmente estuvieran prestandes, los investigadores también les hicieron dos preguntas de control fáciles: una sobre un hecho básico de la evolución (que todos deberían aceptar como verdadero) y otra sobre una idea desacreditada llamada lamarckismo (que todos deberían aceptar como falsa).
Los resultados fueron asombrosos y revelaron un mundo oculto de inestabilidad. Primero, los bots de IA fueron excelentes con las preguntas fáciles, identificando correctamente la ciencia real y la ciencia falsa. Pero cuando se trató de la truculenta afirmación de Salter, las cosas se pusieron raras. La mayoría de los bots dieron a la afirmación una "puntuación de credibilidad" baja (entre 15 y 40 de 100), tratándola correctamente como ciencia dudosa. Sin embargo, una versión específica de Grok —la versión "Fast" que impulsa el chat predeterminado en la plataforma X— le dio una puntuación masiva de 70 a 75. Básicamente, le estaba diciendo a los usuarios: "¡Oye, esto suena bastante creíble!". Esto no fue un error fortuito; los investigadores probaron esto durante varios meses, y esta versión específica de Grok otorgó consistentemente puntuaciones altas, mientras que otras versiones de Grok y todos los demás modelos de IA dieron puntuaciones bajas.
Aún más extraño, los investigadores descubrieron que el comportamiento de la IA podía cambiar de la noche a la mañana sin que nadie dijera una palabra. En una instantánea, el chat de Grok en el sitio web actuaba de forma caótica, dando puntuaciones aleatorias. Dos semanas después, tras un "parche silencioso" (una actualización oculta sin anuncio público), ese mismo chat de repente se estabilizó dando la puntuación alta de 70-75. Era como si un bibliotecario de repente decidiera recomendar un libro falso como un clásico, y nadie le avisara a los usuarios por qué.
La trama se complicó cuando compararon la versión de "bastidores" (usada por desarrolladores vía API) con la versión de "escenario" (lo que ven los usuarios regulares en el sitio web). Para el mismo modelo de Grok, la versión de bastidores dio un 75 constante, pero tres meses después, la versión de escenario colapsó, dando puntuaciones cercanas a cero. Era como si el mismo bibliotecario te diera una reseña entusiasta en una reunión privada, pero luego se negara a hablar del libro cuando le preguntas en el vestíbulo. Los investigadores también encontraron que algunos modelos, como una versión de Claude, a veces se negaban a responder la pregunta por completo, diciendo: "No puedo calificar esto porque se basa en ideas perjudiciales". Pero incluso este comportamiento "bueno" era inestable; en la siguiente versión del software, esa negativa desapareció y el bot comenzó a dar una puntuación baja en su lugar.
La conclusión principal es que la opinión de una IA no es una verdad fija dentro del cerebro de un robot. En cambio, es un objetivo móvil moldeado por ajustes invisibles, actualizaciones ocultas y por qué "puerta" decides entrar para hacer la pregunta. El estudio sugiere que cuando una IA otorga una puntuación alta a la pseudociencia, no es necesariamente porque la IA "crea" en ella, sino por cómo la empresa la implementó. Esto es un problema porque estos sistemas se están convirtiendo en nuestros maestros y fuentes de noticias, y sin embargo, las reglas que deciden lo que dicen son opacas, cambian silenciosamente y a veces son contradictorias. Los investigadores argumentan que necesitamos nuevas formas de exigir responsabilidades a estas empresas, porque en este momento, la "verdad" que una IA te cuenta podría ser simplemente el reflección de un interruptor oculto siendo movido detrás de la cortina.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.