Customized large language models can outperform Community Notes in correcting misinformation
El artículo presenta MUSE, un marco de trabajo de modelo de lenguaje extenso personalizado que integra la recuperación consciente de la confianza y el razonamiento multimodal para superar a Community Notes en la identificación y corrección de desinformación a través de diversos tipos de contenido, mejorando así tanto la calidad de la respuesta como el reconocimiento por parte del usuario de la información falsa.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La plaza pública digital está saturada con un problema persistente: la información falsa que se propaga más rápido que la verdad. En las redes sociales, una sola publicación engañosa puede llegar a millones antes de que alguien tenga la oportunidad de verificarla. Durante años, la defensa principal contra esto ha sido el esfuerzo humano. Los sistemas de colaboración ciudadana, donde voluntarios escriben notas para corregir afirmaciones falsas, se han convertido en una herramienta estándar para las plataformas. Estas notas son valiosas porque son escritas por personas que pueden aportar contexto y matices, pero tienen una debilidad significativa: son lentas. Para cuando un voluntario escribe una corrección, es posible que la publicación engañosa ya haya causado su daño. Además, los voluntarios humanos no pueden cubrir cada publicación, dejando vastas cantidades de desinformación sin verificar.
Los científicos han buscado durante mucho tiempo a la inteligencia artificial para llenar este vacío, con la esperanza de que las máquinas pudieran detectar mentiras tan rápido como se propagan. Sin embargo, los modelos de IA estándar suelen tener dificultades con esta tarea. Están entrenados con datos antiguos y no pueden ver eventos que están ocuriendo en este preciso momento. También pueden "alucinar", inventando hechos o citando fuentes que no existen. El desafío no es solo construir una máquina que pueda leer, sino construir una que pueda verificar, razonar a través de diferentes tipos de medios como texto e imágenes, y hacerlo sin introducir nuevos errores o sesgos. El objetivo es un sistema que actúe como un verificador de hechos incansable e imparcial, listo para responder en el momento en que aparece una publicación sospechosa.
Un equipo de investigadores de la Universidad de Washington ha desarrollado un nuevo sistema llamado MUSE para abordar exactamente este problema. MUSE es un marco de inteligencia artificial personalizado diseñado para identificar y corregir la desinformación en tiempo real. A diferencia de los modelos más antiguos que dependen únicamente de lo que aprendieron en el pasado, MUSE está equipado con un mecanismo para buscar en la web en vivo evidencia actualizada. Cuando encuentra una publicación en redes sociales, no solo adivina; descompone el contenido, busca información creíble para respaldar o refutar las afirmaciones y luego escribe una corrección fundamentada en esa evidencia. El sistema está diseñado para manejar publicaciones complejas que mezclan texto con imágenes, asegurando que pueda verificar todo, desde un pie de foto hasta una fotografía.
Para probar si este enfoque realmente funciona, los investigadores compararon MUSE contra las mejores correcciones escritas por humanos disponibles actualmente en la plataforma X, anteriormente conocida como Twitter. Reunieron cientos de publicaciones reales, algunas que contenían mentiras claras, otras con detalles sutilmente engañosos y algunas que eran completamente precisas. Para cada publicación, enfrentaron la respuesta de la IA contra notas de alta calidad escritas por voluntarios humanos y notas promedio escritas por usuarios con menos experiencia. La evaluación fue rigurosa, involucrando a un panel de expertos en verificación de hechos que calificaron las respuestas según trece criterios diferentes. Estos expertos observaron si el sistema identificaba correctamente las partes falsas, si la explicación tenía sentido y si las fuentes citadas eran confiables y realmente existían.
Los resultados mostraron una clara ventaja para el nuevo sistema. MUSE produjo respuestas que los expertos calificaron como significativamente superiores en calidad a incluso las mejores notas escritas por humanos. En una escala de diez, la IA promedió una puntuación de 8.1, mientras que las mejores notas humanas promediaron 6.3. Esta brecha no fue solo una cuestión de estilo; la IA fue más precisa al identificar las partes específicas de una publicación que eran engañosas. Mientras que los modelos de IA estándar a menudo fallan al identificar el problema o inventan hechos, MUSE identificó y explicó correctamente las imprecisiones en casi el 90 por ciento de sus respuestas. También proporcionó enlaces a fuentes que casi siempre eran accesibles y relevantes, mientras que los modelos estándar frecuentemente citaban enlaces rotos o falsos. El sistema funcionó bien en todos los ámbitos, manejando publicaciones sobre política, salud y eventos actuales con igual destreza, y no mostró el sesgo político que a veces afecta a otros sistemas de IA.
Los investigadores también querían saber si la gente realmente confiaría en una corrección de una máquina. Realizaron un estudio con casi mil participantes, mostrándoles las publicaciones engañosas y las correcciones generadas por la IA. Los resultados fueron alentadores: después de leer la explicación de la IA, los participantes fueron significativamente mejores para reconocer que la publicación original era engañosa. Su creencia en la afirmación falsa disminuyó. Sin embargo, ninguna de las correcciones afectó significativamente la intención de los participantes de compartir la desinformación, la cual se mantuvo generalmente baja. Curiosamente, informar a las personas que la corrección provenía de una inteligencia artificial no hizo que confiaran menos en ella. La efectividad del sistema se mantuvo alta independientemente de si su origen se revelaba o se ocultaba, lo que sugiere que la calidad de la explicación importa más que la identidad del autor.
Uno de los aspectos más importantes de este trabajo es cómo el sistema maneza lo desconocido. Los investigadores descubrieron que MUSE no necesita depender de verificaciones de hechos preexistentes para hacer su trabajo. Incluso para publicaciones que nunca habían sido revisadas por nadie, el sistema pudo encontrar evidencia fresca en la web y construir una corrección fiable. También logró hacer esto rápidamente, generando una respuesta completa en aproximadamente dos minutos en hardware de computación estándar. El costo de ejecutar el sistema también es bajo, costando aproximadamente 0.2 USD por publicación, lo cual es mucho más barato que pagar a voluntarios humanos para revisar cada pieza de contenido.
El estudio tiene limitaciones. El sistema actualmente trabaja con texto e imágenes, pero aún no puede analizar video. También depende de la existencia de información creíble en línea; si una publicación trata sobre un evento de última hora donde ningún medio confiable ha informado todavía, el sistema está diseñado para admitir la incertidumbre en lugar de adivinar. Los investigadores probaron el sistema en una sola plataforma, y aunque esa plataforma es ampliamente utilizada, los resultados pueden variar en otros lugares. A pesar de estos límites, los hallazgos ofrecen un camino prometedor. Al combinar la velocidad de las máquinas con la capacidad de buscar y verificar evidencia del mundo real, MUSE demuestra que podemos construir herramientas que ayuden a las personas a distinguir la verdad de la falsedad con la escala y la velocidad requeridas por el internet moderno. El trabajo sugiere que el futuro de la lucha contra la desinformación no será una elección entre humanos y máquinas, sino un sistema donde las máquinas realicen el trabajo pesado de la verificación, permitiendo que el juicio humano se concentre en los casos más complejos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.