When New Generators Arrive: Lifelong Machine-Generated Text Attribution via Ridge Feature Transfer

Resumen Técnico: RidgeFT para la Atribución de Texto Generado por Máquina de por Vida

1. Definición del Problema

El artículo aborda la Atribución de Texto Generado por Máquina (MGT) de por vida, un escenario donde un modelo de atribución debe identificar continuamente el generador específico responsable de un texto a medida que surgen nuevos Modelos de Lenguaje Extensos (LLMs) con el tiempo. A diferencia de las tareas de atribución estáticas con un conjunto fijo de generadores, este escenario es dinámico y abierto.

El desafío central es el equilibrio entre la adaptación (aprender nuevas clases de generadores) y la retención (preservar la capacidad de reconocer generadores previamente vistos). Los métodos existentes suelen fallar al equilibrar estos objetivos:

• El reentrenamiento completo es poco práctico debido a los costos computacionales, las restricciones de licencias de datos y la indisponibilidad de datos históricos.
• El aprendizaje continuo mediante el ajuste fino (fine-tuning) a menudo conduce al olvido catastrófico, donde la actualización del modelo para nuevas clases desestabiliza las fronteras de decisión de las clases antiguas.
• El replay basado en ejemplares (almacenar textos brutos pasados) plantea preocupaciones de privacidad y sobrecarga de almacenamiento.

El objetivo es desarrollar un marco que incorpore nuevos generadores de manera eficiente sin tener que volver a reproducir datos históricos ni actualizar continuamente el codificador de texto profundo, manteniendo así un espacio de representación estable.

2. Metodología: RidgeFT

Los autores proponen RidgeFT, un marco de actualización analítica ligero y libre de ejemplares (exemplar-free). En lugar de realizar un ajuste fino continuo del codificador profundo, RidgeFT congela un codificador sensible a la tarea entrenado con el conjunto inicial de generadores y realiza actualizaciones incrementales mediante regresión de Ridge de forma cerrada basada en estadísticas suficientes compactas.

El flujo de trabajo consta de tres etapas secuenciales:

A. Calibración de la Covarianza
Para mitigar las variaciones irrelevantes del generador (por ejemplo, tema, dominio, longitud del texto) que actúan como ruido de alta varianza en el espacio de características, RidgeFT aplica una transformación de blanqueamiento fraccional (fractional whitening transformation).

• Calcula una matriz de dispersión intra-clase ($S_w$) a partir de los datos de entrenamiento iniciales.
• Aplica un encogimiento escalado por la traza (trace-scaled shrinkage) para asegurar la estabilidad en la estimación de la covarianza de alta dimensión.
• Realiza una descomposición de valores propios fraccional para atenuar las direcciones de ruido dominantes mientras preserva la geometría discriminativa original.
• Esta transformación se fija tras la inicialización, asegurando que las actualizaciones incrementales no requieran revisar los textos brutos antiguos.

B. Elevación de Características Aleatorias Isotrópicas
Para mejorar la capacidad expresiva del clasificador analítico sin introducir parámetros aprendibles que puedan desplazar el espacio de representación, RidgeFT mapea las características calibradas en un espacio de características aleatorias no entrenables.

• Una matriz aleatoria Gaussiana no entrenable ($R$) se muestrea una sola vez antes de que comience el aprendizaje incremental.
• Las características calibradas se proyectan a través de esta matriz, pasan por una función ReLU y se normalizan (Layer Normalization).
• Esta proyección isotrópica proporciona una base agnóstica a la tarea que expande el espacio de representación de manera uniforme, evitando el sesgo de las proyecciones ajustadas solo a las clases iniciales.

C. Regresión de Ridge Equilibrada por Clase
La cabeza de clasificación se actualiza mediante regresión de Ridge de forma cerrada utilizando únicamente estadísticas suficientes de segundo orden.

• Para cada clase, el sistema almacena tres estadísticas en el espacio de características aleatorias: la estadística de segundo orden ($A_c = \sum z_i z_i^\top$), la estadística de primer orden ($q_c = \sum z_i$) y el recuento de muestras ($N_c$).
• Para abordar el desequilibrio causado por los tamaños de muestra variables (donde las clases más grandes dominan la solución de Ridge), el método introduce pesos de frecuencia inversa ($\omega_c$) basados en los recuentos de clase.
• Los pesos finales del clasificador ($W$) se calculan analíticamente: $W = (\bar{A} + \lambda I)^{-1} \bar{B}$, donde $\bar{A}$ y $\bar{B}$ son las sumas ponderadas de las estadísticas suficientes.
• Cuando llega un nuevo generador, el sistema calcula las estadísticas para la nueva clase, actualiza las sumas ponderadas y resuelve el sistema lineal. Nunca se vuelve a reproducir texto bruto de las clases antiguas.

3. Contribuciones Clave

1. Formulación del Problema: El artículo identifica la atribución de MGT de por vida como un problema de evolución de generadores que requiere la supresión de variaciones de molestia (tema, dominio) mientras se preservan las fronteras de decisión específicas del generador bajo una restricción libre de ejemplares.
2. Marco RidgeFT: Introduce un marco de actualización analítica que combina la calibración de covarianza fraccional, la elevación de características aleatorias isotrópicas y la regresión de Ridge de forma cerrada y equilibrada por clase. Esto permite actualizaciones incrementales utilizando únicamente estadísticas suficientes compactas por clase.
3. Validación Empírica: Experimentos extensos a través de múltiples temas (Académico, Redes Sociales), generadores objetivo y modelos de base (DeBERTa, RoBERTa) demuestran que RidgeFT supera a las líneas base de aprendizaje continuo más avanzadas.

4. Resultados Experimentales

Los autores evaluaron RidgeFT utilizando los protocolos P3, P4 y P5 (comenzando con 3, 4 o 5 clases iniciales y añadiendo nuevas incrementalmente) en conjuntos de datos que incluyen MGT-Academic y AIGTBench.

• Desempeño: Bajo el protocolo estándar P5, RidgeFT logró un macro-F1 de 0.886, superando a la línea base de aprendizaje continuo más fuerte por 0.037 en F1 total.
• Retención vs. Adaptación: RidgeFT logró un F1 de clase antigua de 0.902 y un F1 de clase nueva de 0.804. Notablemente, mejoró el F1 de la clase nueva en 0.107 respecto a la mejor línea base, lo que indica una adaptación superior a los nuevos generadores mientras mantiene una fuerte retención de los antiguos.
• Robustez: El método se mantuvo estable incluso cuando la proporción de datos de la nueva clase se redujo al 5%, demostando una alta eficiencia de datos.
• Estudios de Ablación: Se demostró que los tres componentes (Blanqueamiento, Elevación de Características Aleatorias, Ridge Equilibrado por Clase) son complementarios. El componente de Ridge Equilibrado por Clase fue particularmente efectivo para mitigar el sesgo entre las clases antiguas y las nuevas.
• Eficiencia de Almacenamiento: Aunque no está libre de almacenamiento, RidgeFT permite una compresión significativa. El uso de estadísticas combinadas en precisión bf16 redujo los requisitos de almacenamiento en 16.9× (a ~46 MiB) con una pérdida de rendimiento insignificante.

5. Significación y Reivindicaciones

El artículo sostiene que las actualizaciones analíticas de características estables proporcionan un enfoque simple pero efectivo para la atribución de MGT de por vida. Al desacoplar el aprendizaje de nuevos generadores de la actualización de la representación profunda, RidgeFT evita el desplazamiento de la representación asociado con el ajuste fino y la sobrecarga de memoria del replay de ejemplares.

Los autores posicionan a RidgeFT como una solución escalable para el despliegue en el mundo real donde los sistemas de atribución deben evolucionar con la rápida aparición de nuevos LLMs. Enfatizan que su método ofrece un equilibrio superior entre la retención del conocimiento de los generadores establecidos y la adaptación a los nuevos, abordando un desafío central no resuelto en el campo.

Limitaciones Reconocidas por los Autores:

• Almacenamiento: El método es libre de replay, pero no libre de almacenamiento, ya que requiere almacenar los parámetros de covarianza y las estadísticas suficientes.
• Multilingüe: Los experimentos se realizaron principalmente en inglés; se sugiere la extensión a entornos multilingües como trabajo futuro.
• Estabilidad a Largo Plazo: Los autores señalan que el espacio de representación fijo puede volverse insuficiente eventualmente si los futuros generadores difieren significamente del conjunto de entrenamiento inicial, lo que sugiere la necesidad de una adaptación periódica del codificador en despliegues de muy largo plazo.