Experimental evidence of progressive ChatGPT models self-convergence

Este estudio presenta evidencia experimental de que los modelos de ChatGPT muestran una "autoconvergencia" progresiva, caracterizada por una disminución medible en la diversidad de sus respuestas textuales a lo largo del tiempo, lo cual se atribuye a la influencia de los datos sintéticos generados por IA que han infiltrado sus conjuntos de entrenamiento.

Lo esencial

Aquí tienes una explicación sencilla de este estudio, imaginando que estamos tomando un café y hablando de cómo funcionan estas inteligencias artificiales.

🧠 El Problema: La "Cámara de Eco" de la IA

Imagina que tienes un chef muy talentoso (la IA, como ChatGPT) que aprende a cocinar leyendo todos los libros de cocina del mundo. Al principio, su menú es increíblemente variado: platos italianos, japoneses, mexicanos, etc.

Pero, aquí viene el giro:

1. La gente empieza a usar a este chef para escribir sus propios libros de cocina.
2. Luego, esos nuevos libros (escritos por la IA) se publican en internet.
3. El chef, en su siguiente actualización, vuelve a leer internet para aprender.

El problema: Ahora, el chef está leyendo sus propios libros anteriores mezclados con los de los humanos. Poco a poco, deja de leer los libros originales de los humanos y empieza a leer principalmente lo que él mismo escribió antes.

🔍 ¿Qué descubrieron los autores?

Los investigadores (Konstantinos y su equipo) querían ver si esto estaba pasando realmente con las versiones de ChatGPT. Hicieron un experimento muy curioso:

1. El Juego de la Paráfrasis: Le dieron a diferentes versiones de ChatGPT (desde la vieja 3.5 hasta la nueva 5.2) el mismo texto original (un resumen de un libro clásico).
2. La Prueba: Les pidieron que reescribieran el texto de 5 formas diferentes, usando un "interruptor de creatividad" al máximo (llamado temperatura 1).
   • Analogía: Imagina que le pides a 5 amigos diferentes que te cuenten la misma historia de sus vacaciones. Si son humanos, cada uno lo contará de forma única, con sus propias palabras y detalles.
3. La Medición: Usaron una regla matemática para medir cuánto se parecían las historias entre sí.

📉 El Hallazgo: La "Convergencia" (Todos empiezan a sonar igual)

Lo que encontraron fue alarmante y fascinante:

• Las versiones viejas (2022-2023): Cuando les pedían contar la historia de formas diferentes, lo hacían muy bien. Cada versión era única. Era como si los amigos contaran historias distintas.
• Las versiones nuevas (2024-2025): Aquí está la magia negra. Aunque les pedían ser creativos, todas las versiones nuevas contaban la historia casi idéntica.
  • No importaba si les decías "sé diferente", la IA empezaba a usar las mismas frases, la misma estructura y los mismos patrones una y otra vez.

Los autores llaman a esto "Auto-Convergencia del Modelo".

La metáfora del espejo: Imagina que te miras en un espejo, y luego tomas una foto de ese reflejo y te la vuelves a mostrar. Si lo haces una y otra vez, la imagen se va volviendo borrosa y cada vez más parecida a una versión "promedio" de sí misma, perdiendo los detalles originales. La IA está atrapada en un bucle de espejos, aprendiendo de sus propias fotos en lugar de del mundo real.

🚨 ¿Por qué es peligroso?

El estudio sugiere que la IA está sufriendo una "contaminación".

• Como la IA se usa tanto para escribir correos, tareas escolares y artículos, internet se está llenando de texto generado por IA.
• Cuando la IA se entrena de nuevo, "inhala" este texto artificial.
• Resultado: La IA pierde su capacidad de ser creativa y diversa. Empieza a repetir los mismos patrones, como un disco rayado. En lugar de inventar cosas nuevas, solo recicla lo que ya ha dicho antes.

💡 En resumen

El paper nos advierte que, si no hacemos algo, las IAs del futuro podrían volverse aburridas y repetitivas. No porque sean "tontas", sino porque están aprendiendo de un mundo digital que ellas mismas han llenado de copias de sí mismas.

Es como si un músico dejara de escuchar música nueva y solo escuchara sus propios discos grabados; tarde o temprano, solo tocará la misma canción una y otra vez, sin variación.

La solución propuesta: Necesitamos asegurarnos de que la IA siga aprendiendo de humanos reales y de datos originales, limpiando internet de todo lo que la propia IA haya generado, para evitar que se "ahogue" en su propio reflejo.

Resumen técnico

Resumen Técnico: Evidencia Experimental de la Autoconvergencia Progresiva en Modelos ChatGPT

1. Planteamiento del Problema

El artículo aborda un fenómeno emergente y crítico en el campo de los Modelos de Lenguaje Grande (LLM): la autoconvergencia del modelo (model self-convergence).

• Contexto: Los LLMs se entrenan tradicionalmente con datos generados por humanos extraídos de internet. Sin embargo, con la adopción masiva de IA, una porción creciente de los datos disponibles en la web ahora es sintética (generada por IA).
• El Riesgo: La literatura previa ha estudiado el "colapso de modelos" (model collapse), donde el entrenamiento recursivo en datos generados por el propio modelo lleva a una salida sin sentido ("gibberish").
• La Brecha: Este estudio identifica que, incluso antes de llegar al colapso total, existe un fenómeno de autoconvergencia: los modelos más nuevos, al entrenarse con datos contaminados por salidas de IA anteriores, pierden su capacidad de generar diversidad textual. En lugar de volverse "gibberish", sus salidas se vuelven estructuralmente idénticas entre diferentes versiones del modelo, incluso cuando se les pide explícitamente ser creativos o estocásticos.

2. Metodología

Los autores diseñaron un experimento longitudinal para medir la diversidad textual a través de diferentes versiones de ChatGPT.

• Datos de Entrada (Original): Se utilizaron resúmenes de capítulos de libros literarios clásicos (de las guías de estudio CliffNotes y SparkNotes), extraídos de un conjunto de datos humano creado antes del auge de los LLMs (Kryciski et al., 2022). Se seleccionaron 443 capítulos con longitudes entre 100 y 2,000 palabras.
• Modelos Evaluados: Se probaron siete versiones de ChatGPT con diferentes fechas de corte de conocimiento (desde GPT-3.5 Turbo hasta GPT-5.2).
• Procedimiento:
  1. Se generaron paráfrasis de los textos originales utilizando un prompt fijo.
  2. Se ejecutaron pruebas con dos configuraciones de temperatura: T=0 (determinista) y T=1 (estocástico/máxima aleatoriedad).
  3. Se crearon múltiples paráfrasis por texto y modelo para evitar efectos de caché.
• Métrica de Análisis: Se empleó el Ratio de Porcentaje de Similitud (SPR - Similarity Percentage Ratio).
  • Este algoritmo (basado en detección de patrones repetidos, ARPaD) calcula el porcentaje de palabras compartidas en patrones no superpuestos de longitudes variables (de 3 a 20 palabras) entre las paráfrasis generadas.
  • Un SPR alto indica que el modelo está reutilizando las mismas estructuras y patrones (baja diversidad), mientras que un SPR bajo indica alta variabilidad.

3. Contribuciones Clave

El estudio introduce y define conceptualmente el fenómeno de Autoconvergencia del Modelo:

• Definición: Es el aumento progresivo de la similitud entre las paráfrasis generadas por diferentes versiones de un LLM a medida que avanzan las versiones, debido a la contaminación del conjunto de datos de entrenamiento con datos sintéticos previos.
• Distinción: A diferencia del "colapso de modelo" (donde la salida es incoherente), la autoconvergencia produce salidas que son coherentes pero estructuralmente idénticas, perdiendo la capacidad de innovación y variación estocástica.
• Evidencia Empírica: Proporciona la primera evidencia longitudinal que demuestra que, a medida que los modelos se vuelven más nuevos y tienen más parámetros, su capacidad para diferenciar sus salidas bajo condiciones estocásticas (T=1) disminuye drásticamente.

4. Resultados Principales

Los hallazgos experimentales contradicen la suposición de que los modelos más nuevos son inherentemente más diversos o mejores:

• Convergencia en Temperatura 1 (Estocástica):
  • Los modelos más antiguos (ej. GPT-3.5, GPT-4 Turbo) mostraron una alta diversidad en sus paráfrasis bajo T=1, con SPRs bajos para patrones largos.
  • Los modelos más nuevos (familia GPT-5, especialmente 5.1 y 5.2) mostraron un SPR significativamente más alto. Para patrones largos (15-20 palabras), la similitud entre paráfrasis de modelos nuevos fue 20 a 30 veces mayor que en modelos antiguos.
  • Esto indica que los modelos nuevos, incluso con máxima aleatoriedad, "reutilizan" los mismos patrones sintéticos que han visto en sus datos de entrenamiento.
• Convergencia de la Variabilidad (Spread):
  • La diferencia (delta) entre los resultados de T=0 y T=1 se ha reducido en los modelos nuevos. En modelos antiguos, T=1 producía resultados muy diferentes a T=0. En los modelos nuevos, T=1 se comporta casi como T=0, sugiriendo que la "aleatoriedad" ha sido anulada por la dominancia de patrones sintéticos en el entrenamiento.
• Anomalía en T=0: Curiosamente, algunos modelos nuevos mostraron un SPR más bajo en T=0 que los antiguos, lo que los autores atribuyen a un ajuste fino (fine-tuning) interno para mantener la coherencia, pero esto no compensa la pérdida de diversidad en modo estocástico.

5. Significado e Implicaciones

El estudio concluye con advertencias críticas para el futuro de la IA:

• Contaminación de Datos: La causa raíz es la "infiltración" de internet por datos generados por IA. Los modelos se están entrenando con datos que son, en gran parte, copias o variaciones de sus propias salidas anteriores, creando un ciclo de retroalimentación que reduce la entropía del modelo.
• Pérdida de Innovación: Si los LLMs pierden su estocasticidad y capacidad de generar variaciones únicas, se volverán obsoletos para tareas creativas, de razonamiento complejo o de descubrimiento de nuevos patrones.
• Ciclo Vicioso: El estudio sugiere que, sin intervención, los LLMs dejarán de absorber nuevo conocimiento humano y comenzarán a repetir indefinidamente su propio contenido sintetizado, volviéndose progresivamente menos útiles y más homogéneos.
• Solución Propuesta: La única vía para evitar esto sería entrenar modelos exclusivamente con datos humanos puros (pre-IA) o limpiar exhaustivamente todo el internet de contenido generado por IA, lo cual presenta un desafío logístico masivo.

En resumen, el paper demuestra que la mejora algorítmica y el aumento de parámetros no son suficientes para contrarrestar el efecto degradante de entrenar con datos sintéticos, resultando en una autoconvergencia donde los modelos más avanzados son, paradójicamente, menos diversos y más repetitivos que sus predecesores.