RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored
Este artículo demuestra que los Grandes Modelos de Lenguaje (LLM) experimentan un "colapso de RAG", un fenómeno en el que sus respuestas se degradan y pierden diversidad cuando recuperan y dependen de su propio contenido generado previamente, con experimentos que muestran que el 79,6% de tales simulaciones terminan en colapso debido a un sesgo de autocitación desproporcionado.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Internet ha sido durante mucho tiempo una vasta biblioteca del pensamiento humano, donde millones de voces contribuyen a un tapiz de información caótico pero rico. En años recientes, un nuevo tipo de voz se ha unido al coro: la inteligencia artificial. Los modelos de lenguaje extensos, los motores detrás de los chatbots modernos, son entrenados en esta biblioteca digital y ahora pueden generar texto que imita la escritura humana. Estos sistemas también se utilizan cada vez más para escribir los artículos, reseñas y listas que pueblan la web. Esto crea una situación única en la que las herramientas que usamos para encontrar información están comenzando a leer las mismas cosas que ayudaron a crear. Científicos han observado previamente que, si un modelo es entrenado repetidamente con su propia producción, puede entrar en un estado de "colapso del modelo", donde sus respuestas se vuelven repetitivas y pierden la riqueza de los datos originales. Pero un nuevo estudio plantea una pregunta más inmediata: ¿qué sucede cuando estos sistemas usan sus herramientas de búsqueda para encontrar respuestas, y esos resultados de búsqueda resultan ser artículos que ellos mismos escribieron?
Investigadores de Graphite Growth se propusieron probar este escenario a través de una serie de extensas simulaciones por computadora. Trataron al internet como un ecosistema vivo donde el contenido generado por IA se publica constantemente y luego es recuperado inmediatamente por el mismo tipo de IA que lo escribió. Para hacer esto, tomaron más de mil preguntas diferentes, que iban desde "¿Quiénes son los mejores streamers de Twitch?" hasta "¿Cómo puedo mejorar mi marca personal?". Comenzaron recopilando resultados de búsqueda reales para estas preguntas, los cuales sirvieron como el conjunto inicial de información. Luego, le pidieron a una IA que respondiera las preguntas basándose en esos resultados. Después, tomaron esas respuestas de la IA, las expandieron en artículos completos y las añadieron de nuevo al conjunto de resultados de búsqueda disponibles, reemplazando las fuentes originales escritas por humanos. Repitieron este proceso una y otra vez, simulando un ciclo donde la IA lee su propio trabajo previo para generar nuevas respuestas.
Los resultados fueron sorprendentes y preocupantes. En casi el ochenta por ciento de las simulaciones, el sistema colapsó en un estado de extrema uniformidad. En lugar de ofrecer una variedad de perspectivas o diferentes listas de nombres, la IA comenzó a producir exactamente la misma respuesta cada vez. Esto sucedió incluso cuando los investigadores solo reemplazaban uno de los resultados de búsqueda originales con un artículo generado por IA. Sorprendentemente, la presencia de una sola referencia autoescrita fue suficiente para desencadenar este cambio. La IA no trató su propia escritura como simplemente otra opción; favoreció desproporcionadamente su propio contenido, citándolo con mucha más frecuencia que las fuentes originales, incluso cuando las fuentes originales eran de igual o mayor calidad. Este sesgo causó que la diversidad de las respuestas desapareciera rápidamente. En un experimento que involucraba una lista de los mejores streamers de videojuegos, las respuestas iniciales variaban ampliamente, mencionando a diferentes personas en diferentes órdenes. Tras solo cinco rondas de este bucle autorreferencial, cada respuesta enumeraba exactamente a los mismos streamers en el mismo orden, con el texto volviéndose casi idéntico palabra por palabra.
El estudio descartó la idea de que este colapso se debiera simplemente a que la IA estaba leyendo contenido de baja calidad o mal escrito. Los investigadores revisaron la calidad de los artículos y encontraron que los generados por IA eran a menudo tan buenos como, o incluso mejores que, los escritos por humanos en términos de organización y relevancia. Sin embargo, la IA seguía prefiriendo su propio trabajo. Esto sugiere un fenómeno que los autores llaman "sesgo propio" (self-bias), donde el modelo tiene una preferencia inherente por el estilo y la estructura de sus propias generaciones previas. No es que la IA sea incapaz de encontrar otra información; más bien, parece fijarse en su propia producción y amplificarla, ignorando la diversidad más amplia del internet. Este efecto se observó en diferentes tipos de modelos de IA, incluyendo aquellos de las principales empresas tecnológicas, y ocurrió independientemente de si las preguntas trataban sobre listas de hechos o consejos abiertos.
Los investigadores descubrieron que este colapso no es una deriva lenta y gradual, sino que puede ocurrir casi de inmediato. En simulaciones donde reemplazaron solo una referencia con un artículo generado por IA, las respuestas comenzaron a converger dentro de las primeras rondas. Al final del proceso, el sistema había perdido la capacidad de reflejar la verdadera variedad de la opinión humana. Para preguntas sobre listas de "los mejores", como los mejores restaurantes o películas, la IA dejó de ofrecer una gama de opciones y, en su lugar, convergió en una perspectiva única y estrecha. Algunas entidades que inicialmente eran mencionadas con frecuencia desaparecieron por completo de las respuestas, mientras que otras que inicialmente se mencionaban raramente comenzaron a aparecer en cada una de las respuestas. Esto sugiere que, a medida que más contenido generado por IA inunde el internet, las herramientas de búsqueda en las que confiamos pueden eventualmente dejar de mostrarnos el panorama completo del pensamiento humano, reflejando en su lugar un bucle estrecho y autorreforzado de consenso generado por máquinas.
Las implicaciones de este hallazgo se extienden más allá de los chatbots. El estudio destaca un riesgo potencial para el futuro de la información en la web. Si los sistemas de IA se utilizan cada vez más para generar el contenido que otros sistemas de IA recuperan, el internet podría perder lentamente su diversidad de pensamiento. Los investigadores señalaron que incluso un pequeño número de artículos generados por IA puede tener un impacto masivo, desencadenando un colapso que elimina los puntos de vista alternativos. Probaron varias formas de detener esto, como intentar filtrar el contenido generado por IA o fomentar que los modelos sean más diversos, pero estas soluciones siguen sin estar probadas en el mundo real. El estudio concluye que, si bien no sabemos con certeza si este colapso ya está ocurriendo a escala global, las simulaciones muestran que el mecanismo es real y potente. El internet, que alguna vez fue un espejo de la diversidad humana, corre el riesgo de convertirse en una sala de espejos donde los sistemas de IA solo se ven a sí mismos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.