Resumen Técnico: OCRR – Una Referencia para la Recuperación de Correcciones en Línea bajo Desplazamiento de Distribución

1. Enunciado del Problema

Los sistemas de aprendizaje automático desplegados enfrentan una brecha crítica entre el rendimiento en referencias estáticas y las necesidades operativas del mundo real. Mientras que las referencias estándar (por ejemplo, Banking77, GLUE, MMLU) miden el rendimiento de un modelo cuando se mantiene fijo en el momento del entrenamiento, los sistemas de producción deben manejar desplazamientos de distribución (nuevas categorías, consultas parafraseadas, deriva de datos) y recuperarse de errores mediante correcciones de usuario en línea.

Los paradigmas de evaluación actuales no logran capturar la tasa de recuperación de correcciones:

• Referencias Estáticas: Miden la precisión en una división de prueba congelada, ignorando la capacidad de absorber nueva información sin reentrenamiento.
• Aprendizaje Continuo (CL): Evalúa los modelos después de completar una secuencia completa de tareas, no durante un flujo en vivo de correcciones de usuario.
• Aprendizaje en Línea: Generalmente prueba la precisión acumulativa en un flujo, pero a menudo asume que no hay almacenamiento de datos históricos o carece de escenarios de clases retenidas.

El artículo argumenta que un modelo que logra una precisión estática del 95% pero falla en absorber una sola corrección sin reentrenamiento es operativamente inferior a un modelo del 90% que puede recuperarse en línea. Actualmente no existe ninguna referencia para medir la velocidad a la que un clasificador se recupera cuando las correcciones llegan en un flujo.

2. Metodología: La Referencia OCRR

Los autores introducen OCRR (Tasa de Recuperación de Correcciones en Línea), una referencia diseñada para evaluar sistemas bajo restricciones de flujo con desplazamientos de distribución.

3.1 Protocolo Central

• Desplazamiento de Clase Retenida: El sistema se inicializa con $C-H$ clases conocidas. Se introduce un flujo de consultas de $H$ clases retenidas (desconocidas en la inicialización).
• Flujo de Correcciones: El sistema predice etiquetas. Si una predicción es incorrecta, una política determina si se aplica una corrección.
• Políticas de Corrección:
  • Oráculo: Cada predicción incorrecta se corrige.
  • Aleatorio-50% / Aleatorio-10%: Las predicciones incorrectas se corrigen con una probabilidad de 0.5 o 0.1, simulando supervisión escasa.
• Ejes de Evaluación:
  • Precisión Novel: Rendimiento en las clases retenidas (capacidad de recuperación).
  • Precisión Original: Rendimiento en las clases conocidas iniciales (verificación de olvido).
• Métricas: Precisión Novel/Original frente al recuento de correcciones, y "Correcciones-hasta-N%" (velocidad de recuperación).

3.2 Sistemas Evaluados

La referencia evalúa un Sustrato propuesto contra nueve líneas base en cinco familias:

1. Hombres de Paja: kNN Estático, Lineal Estático, Lineal en Línea (SGD).
2. Aprendizaje Continuo (CL): EWC (penalización ponderada por Fisher), A-GEM (proyección de gradiente con memoria), LwF (distilación de conocimiento).
3. Biblioteca de ML en Línea: river (Regresión Logística).
4. Híbrido de Recuperación/Paramétrico: kNN-LM (interpolando una cabeza paramétrica con un almacén de datos en crecimiento).
5. Ajuste Fino Eficiente en Parámetros (PEFT): LoRA en DeBERTa-v3-large (1.5 mil millones de parámetros).

3.3 El Sustrato Propuesto

El Sustrato es un libro mayor de solo adición con encadenamiento de hashes criptográficos.

• Mecanismo: Almacena incrustaciones, etiquetas y hashes. No actualiza parámetros; en su lugar, añade nuevas entradas para las correcciones.
• Predicción: Recupera $k=5$ vecinos más cercanos mediante similitud del coseno.
• Votación: Utiliza una votación mayoritaria de banda de margen (los vecinos dentro de 0.05 de coseno del golpe superior votan) con desempates por máxima similitud y recencia.
• Integridad: La cadena de hashes permite verificar que ninguna entrada pasada fue alterada, soportando registros de auditoría.
• Variantes Acotadas: Los autores prueban versiones acotadas usando muestreo de reservorio y expulsión FIFO para explorar la frontera de Pareto almacenamiento-vs-recuperación.

3. Resultados Clave

Los experimentos se realizaron en Banking77 (77 clases) y CLINC150 (151 clases) con 3 semillas aleatorias.

3.1 Dominancia de Pareto

El Sustrato es el único sistema que logra simultáneamente alta precisión en clases novel y alta precisión en distribución original.

• Rendimiento: En Banking77 (política Oráculo), el Sustrato ilimitado logró una precisión novel de 88.7% ± 2.9% y una precisión original de 95.4% ± 0.8%.
• Comparación: Superó a la siguiente mejor línea base de aprendizaje continuo (A-GEM) en 32.6 puntos porcentuales en precisión novel con un presupuesto de memoria igual (1000 entradas).
• Retención: Superó a LoRA en DeBERTa-v3-large en 84.6 puntos porcentuales en retención (precisión original), demostrando que grandes conteos de parámetros no necesariamente previenen el olvido catastrófico en configuraciones en línea por corrección.

3.2 Políticas de Corrección Escasas

Bajo corrección escasa (Aleatorio-10%), las líneas base paramétricas (EWC, A-GEM, LwF, LoRA) colapsaron a una precisión novel cercana al 0%. El Sustrato mantuvo una precisión novel de ~65% mientras retenía la precisión original.

3.3 Escala y Robustez de Recuperación

Un hallazgo crítico concierne la escalabilidad. Los autores probaron el Sustrato con Vecinos Más Cercanos Aproximados (HNSW) en escalas de corpus de hasta 10 millones de entradas.

• Degradación de Recuperación: La recuperación@5 de HNSW cayó de 0.69 (en 10k entradas) a 0.23 (en 10M entradas).
• Estabilidad de Precisión: A pesar de la pobre recuperación, la precisión de clasificación del Sustrato se mantuvo estable en 99%.
• Implicación: El mecanismo de votación mayoritaria de banda de margen es robusto ante imperfecciones de recuperación, absorbiendo ruido que las métricas puras de top-k predecirían como fallo.

3.4 Eficiencia Computacional

El Sustrato es dos órdenes de magnitud más rápido por corrección que los métodos basados en gradientes (~10 µs para añadir al libro mayor vs. ~50 ms para retropropagación de LoRA en un modelo de 1.5 mil millones).

4. Significado y Afirmaciones

El artículo posiciona a OCRR como la primera referencia para medir directamente la tasa de recuperación de correcciones bajo desplazamiento de distribución en línea.

• Compensaciones Honestas: A diferencia de referencias que imponen restricciones estrictas de "sin almacenamiento" (excluyendo métodos de recuperación) o ignoran los costos de almacenamiento, OCRR reporta explícitamente las huellas de memoria y mapea los sistemas en una frontera de Pareto almacenamiento-vs-recuperación.
• Ventaja No Paramétrica: Los resultados sugieren que el aprendizaje basado en recuperación, no paramétrico (el Sustrato), es significativamente más eficiente en muestras para absorber nuevas clases mediante correcciones que los métodos basados en gradientes, que sufren olvido catastrófico o adaptación lenta.
• Relevancia para Producción: El diseño del Sustrato apoya industrias con alta carga de cumplimiento (banca, salud) mediante su registro de auditoría encadenado por hashes, probando la integridad de los datos post-corrección.
• Limitaciones: Los autores reconocen que OCRR mide actualmente solo desplazamientos categóricos (nuevas clases), no la deriva dentro de la clase (parafraseo) ni etiquetas ruidosas, y depende de conjuntos de datos solo en inglés.

En conclusión, el artículo demuestra que para la recuperación de correcciones en línea, un sistema de recuperación simple, de solo adición, con votación robusta, puede superar enfoques complejos y pesados en parámetros de aprendizaje continuo y ajuste fino, ofreciendo un equilibrio superior de velocidad, precisión e integridad de datos.