SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization

Resumen Técnico: SURGELLM

Planteamiento del Problema
Los codificadores ajustados (fine-tuned) desplegados en tareas de Procesamiento de Lenguaje Natural (NLP) heterogéneas enfrentan tres desafíos compuestos:

1. Sesgos Inductivos Desajustados: Las tareas con diferentes vocabularios, espacios de etiquetas y registros (por ejemplo, análisis de sentimiento frente a recuperación de múltiples saltos) interfieren destructivamente cuando son gestionadas por un único codificador compartido.
2. Corrupción por Desequilibrio de Clases: El severo sesgo de clase en los datos de entrenamiento contamina las estadísticas de las características, causando que las capas de normalización sesguen el modelo hacia la clase mayoritaria.
3. Falta de Condicionamiento Externo: Los codificadores estándar carecen de un mecanismo para condicionar la atención a conocimiento léxico externo curado (por ejemplo, indicadores estilométricos) que puede ser descartado o subutilizado durante el ajuste fino, especialmente cuando la truncación de secuencias destruye las estadísticas globales.

Metodología: El Marco de Trabajo SURGELLM
SURGELLM es un marco de transformador unificado diseñado para abordar estos problemas a través de tres módulos dedicados y ligeros integrados en un esqueleto de codificador estándar (por ejemplo, BERT, RoBERTa).

1. Extracción Quirúrgica de Características:
   El marco utiliza un "vocabulario quirúrgico" que consiste en diez grupos de indicadores léxicos curados (por ejemplo, polaridad de sentimiento, marcadores específicos de LLM, pistas de recuperación) más seis características superficiales (conteo de palabras, densidad de puntuación, etc.). Estos se computan sobre el texto completo y no truncado para generar un vector de características de 16 dimensiones $s \in \mathbb{R}^{16}$.

2. Tokens de Prefijo Condicionados por Tarea:
   Para inyectar los valores de las características directamente en el mecanismo de atención, el sistema antepone una secuencia de tokens estructurada a cada entrada: [TASK:tk | F1:v1 | ... | F16:v16]. Estos tokens son co-atendidos por todas las capas del transformador, permitiendo que las capas inferiores condicionen las características léxicas al contexto a nivel de token.

3. Puerta de Características Quirúrgicas (Surgical Feature Gate):
   Una puerta sigmoidea aprendida, por dimensión, fusiona la representación [CLS] condicionada por la tarea ($\tilde{h}$) con una proyección no lineal del vector de características quirúrgicas ($s'$).

   • Mecanismo: La puerta computa un peso de interpolación $g \in (0,1)^d$ para cada dimensión oculta, permitiendo al modelo mezclar selectivamente las salidas semánticas del codificador con las características léxicas.
   • Seguridad: La puerta está diseñada para degenerar de forma demostrable en una función identidad cuando las características no son informativas, asegurando que no perjudique el rendimiento si las señales léxicas son irrelevantes.

4. Normalización Ponderada por Instancia (IWN):
   Esta es la innovación central que aborda el desequilibrio de clases. La normalización estándar utiliza estadísticas globales ($\bar{s}, \sigma$) calculadas sobre todo el conjunto de entrenamiento, las cuales están dominadas por la clase mayoritaria en conjuntos de datos sesgados. IWN reemplaza estas por estadísticas equilibradas por clase ($\bar{s}_{bal}, \sigma_{bal}$), calculadas como la media de las estadísticas por clase.

   • Efecto: Esto elimina el sesgo de prioridad de clase de la distribución de entrada de la puerta sin requerir etiquetas en el momento de la inferencia. Actúa como una corrección de estadísticas de características ortogonal a las correcciones del lado de la pérdida o del muestreo.

Contribuciones Clave

• Marco Unificado: Un codificador multitarea compatible con plugins que integra puertas de características por dimensión, tokens de prefijo condicionados por tarea e IWN.
• Garantías Teóricas:
  • Un límite de exceso de riesgo (Teorema 1) que vincula el beneficio de la puerta con la "alineación de características quirúrgicas" ($\rho_k$).
  • Un resultado de degeneración (Proposición 2) que demuestra que la puerta es segura (degenera a la identidad) cuando las características no son informativas.
• Normalización Novedosa: La introducción de IWN, una corrección de estadísticas de características específicamente diseñada para el gating aumentado de NLP, la cual es ortogonal a las correcciones existentes de pérdida o muestreo.
• Receta de Auto-extracción: Un método que utiliza log-odds y agrupamiento de embeddings para recuperar el 99.5% del rendimiento de la curación manual, permitiendo la transferencia del vocabulario quirúrgico a nuevos dominios sin esfuerzo manual.

Resultados Experimentales
El marco fue evaluado a través de cuatro tareas heterogéneas (sentimiento SST-2, recuperación de múltiples saltos HotPotQA, atribución de prompts de LLM y detección de autoría humana/LLM) involucrando 17,830 ejemplos y once variantes de modelos (DistilBERT, BERT, RoBERTa, ALBERT, T5-base) sobre tres semillas.

• Rendimiento: La variante SURGELLM-IWN utilizando RoBERTa logró un macro-F1 agregado de 0.940. Esto representa una mejora de +0.036 sobre la base no-IWN más fuerte y una ganancia absoluta de +0.130 en la tarea de detección de autoría (D4), el conjunto de datos más desafiante y sesgado.
• Estudios de Ablación:
  • Eliminar IWN causó una regresión en el rendimiento en D4 (de 0.892 a 0.711), confirmando que la puerta por sí sola es insuficiente sin una normalización equilibrada.
  • Un control de vocabulario aleatorio resultó en una caída de F1 promedio de -0.028 en comparación con el vocabulario curado, confirmando que las ganancias derivan del contenido léxico y no simplemente del aumento del número de parámetros.
  • T5-base (220M de parámetros) fue competitivo pero no dominante, resaltando que las tareas estructuralmente heterogéneas se benefician más de la inyección explícita de características de SURGELLM que de una arquitectura genérica de texto a texto.
• Eficiencia: SURGELLM-IWN-RoBERTa es Pareto-eficiente, logrando el F1 promedio más alto con un tiempo de entrenamiento adicional de solo ~4.0x en comparación con la base, mientras utiliza significativamente menos parámetros que T5-base.

Significancia y Reivindicaciones
El artículo postula que SURGELLM demuestra el valor de revisar el aumento de características en redes neuronales de NLP no como un legado de la era pre-transformer, sino como un canal lateral principiado que complementa las representaciones contextuales.

• Léxico vs. Paramétrico: Los resultados confirman que los indicadores léxicos explícitos, cuando se condicionan y normalizan adecuadamente, proporcionan señales que el ajuste fino por sí solo no logra capturar, particularmente en tareas con señales superficiales disjuntas.
• Precondicionamiento Estadístico: El éxito de IWN destaca que los sesgos arquitectónicos (la puerta) deben desacoplarse del precondicionamiento estadístico (desequilibrio de clase en las estadísticas de características) para funcionar eficazmente.
• Escalabilidad: El marco está diseñado para ser ligero y escalable, siendo el número de parámetros de la puerta lineal en la dimensión oculta y asintóticamente insignificante en relación con el codificador.

Los autores concluyen que, si bien el trabajo actual se limita al inglés y a codificadores de escala base, la "puerta quirúrgica" representa un canal viable para integrar conocimiento externo, sugiriendo la existencia de otros.