TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

Resumen Técnico: TSFMAudit – Auditoría de Contaminación de Datos en Modelos Fundacionales de Series Temporales para Pronósticos

1. Formulación del Problema

Los Modelos Fundacionales de Series Temporales (TSFMs) se preentrenan cada vez más en grandes corpus heterogéneos derivados de diversas fuentes reales y sintéticas. Simultáneamente, las evaluaciones de referencia ampliamente utilizadas (por ejemplo, GIFT-Eval, TIME) a menudo se ensamblan a partir de las mismas fuentes públicas. Esta superposición crea un riesgo significativo de contaminación del preentrenamiento, donde los datos de evaluación han estado expuestos durante la fase de preentrenamiento del modelo. Dicha exposición puede inflar artificialmente las estimaciones de rendimiento aguas abajo, lo que lleva a evaluaciones excesivamente optimistas sobre las capacidades de generalización de un modelo.

Auditar esta contaminación en series temporales es un desafío único en comparación con los Modelos de Lenguaje Grande (LLM) debido a la naturaleza de los datos:

• Continuidad y Heterogeneidad: Las series temporales son valores continuos, lo que hace que la coincidencia exacta de cadenas o tokens (utilizada en la detección de superposición en LLM) sea inaplicable.
• Sensibilidad al Preprocesamiento: La misma señal subyacente puede reaparecer tras el reescalado, el cambio de nombre, la reventanización u otras transformaciones, lo que hace que la detección simple de duplicados sea frágil.
• Falta de Documentación: La documentación a nivel de corpus a menudo es incompleta, lo que dificulta verificar la exposición únicamente mediante metadatos.
• Poco Fiabilidad de las Métricas Estáticas: Las puntuaciones de pérdida o perplejidad estáticas son indicadores poco fiables, ya que las tendencias estacionales suaves o los conjuntos de datos fáciles pueden producir una pérdida baja incluso para modelos que nunca han visto los datos.

El artículo formaliza el objetivo de auditoría de contaminación: dado un TSFM candidato $f_\theta$ y un conjunto de datos auditado $D$, el objetivo es estimar una puntuación $S(f_\theta, D)$ que cuantifique el riesgo de contaminación del preentrenamiento, distinguiendo entre pares "limpios" y "contaminados" sin acceso al corpus completo de preentrenamiento.

2. Metodología: TSFMAudit

Los autores proponen TSFMAudit, un marco basado en la dinámica de adaptación de sondas. La intuición central es que la contaminación se manifiesta como una adaptación inusualmente eficiente durante una sonda de ajuste fino.

Observaciones Clave:

1. Adaptación Eficiente: Si un modelo ya ha codificado estructuras predictivas específicas de un conjunto de datos durante el preentrenamiento, requiere menos adaptación cuando se ajusta finamente posteriormente en ese mismo conjunto de datos. Esto resulta en una reducción más rápida de la pérdida con un movimiento mínimo de los parámetros del núcleo (backbone).
2. Sesgo de Dificultad del Conjunto de Datos: La adaptación rápida no es exclusiva de los modelos contaminados; los modelos limpios también pueden adaptarse rápidamente si el conjunto de datos es intrínsecamente fácil. Para mitigar esto, el método compara al candidato contra una Suite de Referencia de modelos con arquitectura comparable pero sin exposición al conjunto de datos objetivo.

El Pipeline de TSFMAudit:

1. Fase de Sonda: Tanto el modelo candidato como una suite de modelos de referencia ($\mathcal{R}$) se ajustan finamente en el conjunto de datos auditado $D$ durante un número fijo de épocas ($T_{probe}$).
2. Extracción de Trazas: Para cada época $t$, el sistema registra:
   • $\ell_t$: La pérdida de pronóstico.
   • $w_t$: El desplazamiento acumulado $\ell_2$ de los parámetros del núcleo desde su estado inicial.
   • Métricas derivadas: Caída relativa de la pérdida ($d_t$) y eficiencia de adaptación ($a_t = d_t / w_t$).
3. Corrección de Sesgos mediante Comparación de Referencia: Para eliminar el sesgo específico de la dificultad del conjunto de datos, las características de la traza del candidato se comparan elemento por elemento con la traza de cada modelo de referencia. Esto genera características de diferencia ($\Delta$) y relación ($\rho$).
4. Puntuación y Calibración: Un puntuador ligero (regresión logística) se entrena en un conjunto de entrenamiento de auditoría utilizando estas características corregidas para predecir la probabilidad de contaminación.
   • Umbralización: El sistema adopta un principio conservador de "no acusar al inocente" (calibración FP-0). El umbral de decisión $\tau$ se establece en la puntuación máxima observada en conjuntos de datos de validación limpios conocidos, asegurando que ningún conjunto de datos limpio sea marcado falsamente como contaminado.

3. Contribuciones Clave

• Primer Estudio Sistemático: Hasta donde sabemos, este es el primer trabajo que estudia formalmente y propone un método para la auditoría de contaminación del preentrenamiento específicamente para TSFMs.
• Metodología Novel: La introducción de TSFMAudit, que aprovecha la dinámica de adaptación en tiempo de sonda (reducción de pérdida frente a movimiento de parámetros) en lugar de la pérdida estática o la extracción de memorización.
• Corrección de Sesgos Basada en Referencia: Un mecanismo para controlar la dificultad del conjunto de datos comparando la eficiencia de adaptación del candidato con una suite de modelos de referencia entrenados desde cero o con datos no relacionados.
• Evaluación Exhaustiva: El método se evalúa en 6 TSFMs (Chronos, TiRex, Moirai1/2, TimesFM2.0, Kairos) y 187 conjuntos de datos (combinando las referencias GIFT-Eval y TIME), comparando contra 10 líneas base adaptadas de la literatura de LLM.

4. Resultados Experimentales

Los experimentos abordan cuatro preguntas principales sobre la eficacia del método:

• Rendimiento de Detección (Q1): TSFMAudit supera significativamente a las líneas base de pérdida estática (Pérdida Bruta, Tasa de Caída de Pérdida), las relaciones inspiradas en LiRA y las líneas base de dominio de frecuencia. Mientras que las métricas estáticas producen coeficientes de correlación de Matthews (MCC) cercanos a cero, TSFMAudit logra un MCC de 0.125 (configuración All Ref) y un Macro-F1 de 0.521. Los autores señalan que los valores absolutos de MCC siguen siendo modestos, reflejando la dificultad inherente del problema bajo una calibración conservadora FP-0 y etiquetas proxy ruidosas.
• Efecto de Corrección de Sesgos (Q2): La corrección de sesgos basada en referencia es crucial. Todas las variantes basadas en referencia superan a la línea base de dinámicas solo del candidato. La configuración "All Ref" (utilizando los cuatro modelos de referencia: ScratchCNN, ScratchTransformer, Stat, VisionTS) produce el mejor rendimiento agregado, confirmando que las señales de adaptación relativas son más informativas que las absolutas.
• Utilidad de las Características (Q3): La ablación de características muestra que ninguna característica individual es suficiente. La eficiencia de adaptación ($a_t$) es la característica individual más fuerte, lo que respalda la hipótesis de que la contaminación se caracteriza por una alta eficiencia (rápida caída de la pérdida, bajo movimiento de parámetros). Sin embargo, combinar todas las características de dinámica (pérdida, desplazamiento, eficiencia) produce los mejores resultados.
• Despliegue Práctico (Q4): El método se probó en la Referencia TIME, una nueva referencia externa sin etiquetas de contaminación. Utilizando un auditor fijo entrenado en datos anteriores, TSFMAudit identificó correctamente los conjuntos de datos TIME como "limpios" (sin filtrado) con alta confianza (tasa de no filtrado agrupada > 95%), demostrando su utilidad en escenarios de despliegue en el mundo real sin reentrenamiento.

5. Significado y Afirmaciones

El artículo afirma que TSFMAudit establece las dinámicas en tiempo de sonda como una base prometedora para una auditoría de contaminación fiable en series temporales.

• Cambio de Paradigma: Se aleja de las métricas estáticas previas a la sonda (que son poco fiables en series temporales) hacia un análisis dinámico y conductual durante el ajuste fino.
• Viabilidad: Demuestra que la auditoría de contaminación es factible incluso sin acceso al corpus de preentrenamiento o a la capacidad de reproducir el preentrenamiento a gran escala, siempre que se pueda sondear el comportamiento de adaptación del modelo.
• Limitaciones: Los autores permanecen modestos sobre los resultados, reconociendo que el problema de detección es desafiante. Las puntuaciones MCC modestas indican que, aunque el método es superior a las líneas base, no es un detector perfecto, particularmente bajo restricciones estrictas de falsos positivos y al tratar etiquetas proxy que pueden no capturar todas las formas de filtrado (por ejemplo, duplicados transformados).

En conclusión, TSFMAudit proporciona el primer marco dedicado para auditar TSFMs, ofreciendo un enfoque robusto y dinámico para identificar la contaminación de datos que tiene en cuenta la naturaleza continua y heterogénea de los datos de series temporales.