Resumen Técnico: ¿Dónde emerge la señal de autoría en los modelos de lenguaje basados en codificadores?

Declaración del Problema

Los sistemas de atribución de autoría (AA) suelen emplear un paradigma de aprendizaje contrastivo donde un codificador de texto preentrenado genera representaciones para pasajes, y una función de puntuación compara estas representaciones para determinar la similitud de autoría. Un trabajo reciente (Kulumba et al., 2025) reveló un acertijo sorprendente: modelos ajustados finamente con el mismo codificador preentrenado, datos de entrenamiento y pérdida contrastiva pueden exhibir una brecha de rendimiento de cuatro veces únicamente basada en su mecanismo de puntuación. Específicamente, los modelos que utilizan agregación media (promediar las incrustaciones de tokens en un único vector) tienen un rendimiento significativamente inferior en comparación con los que utilizan Interacción Tardía (LI) (comparar vectores de tokens directamente mediante MaxSim).

La pregunta central abordada por este artículo es la fuente de esta discrepancia. Se consideraron dos hipótesis:

1. Hipótesis de Aprendizaje de Representaciones: Diferentes mecanismos de puntuación causan que el codificador aprenda representaciones internas fundamentalmente distintas durante el ajuste fino.
2. Hipótesis de Lectura (Readout): El codificador aprende representaciones similares independientemente del puntuador, y la brecha de rendimiento surge de cómo se leen esas representaciones (puntuación) en el momento de la inferencia.

Metodología

Los autores emplean herramientas de interpretabilidad mecánica para distinguir entre la disponibilidad de características (si la información está presente en los estados ocultos) y el uso de características (si el mecanismo de puntuación depende causalmente de esa información). El estudio utiliza la siguiente configuración experimental y herramientas:

• Modelos: Tres modelos ajustados finamente que comparten una base ModernBERT-base (23 capas, 149M parámetros) fueron entrenados en el corpus HALvest-Contrastive (un corpus académico donde el tema está descorrelacionado de la autoría). Los modelos diferían únicamente en su mecanismo de puntuación:
  • Por Capas (Agregación Media): Promedia las incrustaciones de tokens antes de puntuar.
  • Interacción Tardía (LI): Utiliza MaxSim a nivel de token.
  • Interacción Tardía a Nivel de Parche (PLI): Un híbrido que utiliza parches de bigramas con MaxSim.
  • Se incluyó un modelo de control (E5, cero disparos).
• Conjunto de Sondas: Un conjunto curado de 148 tripletes (ancla, positivo, negativo) con longitudes de tokens controladas (objetivo 130) y estratificados por dificultad (Nivel A: autores disjuntos; Nivel B: superposición parcial de autores; Nivel C: cruzado entre dominios).
• Herramientas de Análisis:
  1. Sondas LISA: Sondas de regresión lineal entrenadas en cada una de las 23 capas del codificador para medir la legibilidad lineal de características estilísticas (por ejemplo, longitud de palabra, densidad de puntuación, frecuencia de palabras funcionales).
  2. Parcheo de Flujo Residual: Una intervención causal donde los estados ocultos de un pasaje "corrupto" (negativo) se reemplazan por los de un pasaje "limpio" (positivo) en capas específicas. La recuperación de rango mide si el modelo clasifica correctamente al positivo por encima del negativo después de esta intervención, identificando la capa donde la señal de autoría se vuelve causalmente necesaria.
  3. Sensibilidad de Puntuación: Mide el cambio absoluto en la salida de puntuación cuando se restauran las activaciones de una sola capa.
  4. Dinámicas de Entrenamiento: Análisis de parcheo aplicado a través de ocho puntos de control de entrenamiento para observar la evolución de la consolidación de la señal.

Resultados Clave

1. La Disponibilidad de Características es Invariante

Los resultados de las sondas LISA (Figura 3) muestran que las características estilísticas son linealmente legibles desde los estados ocultos de todos los modelos (Agregación Media, LI, PLI y el control E5) en todas las capas con puntuaciones $R^2$ casi idénticas.

• Implicación: La base preentrenada ya codifica características estilísticas. El ajuste fino contrastivo no crea nuevas representaciones estilísticas, ni tampoco los diferentes puntuadores obligan al codificador a aprender otras distintas. Esto descarta la Hipótesis de Aprendizaje de Representaciones.

2. El Parcheo Causal Revela un Perfil de Profundidad Dependiente del Puntuador

Las curvas de recuperación de rango (Figura 4) demuestran un "punto de consolidación" distinto donde la capacidad del modelo para recuperar la clasificación correcta depende del mecanismo de puntuación:

• Agregación Media: La consolidación de la señal ocurre temprano. La recuperación de rango cruza la línea base de azar en la capa 9 y alcanza una recuperación casi perfecta en la capa 13.
• Interacción Tardía (LI) y PLI: La consolidación de la señal se retrasa. La recuperación de rango se mantiene por debajo del azar hasta las capas 14–16, alcanzando una recuperación alta solo en las capas finales.
• Brecha: Existe una brecha constante de 6 capas en la profundidad a la que la señal de autoría se vuelve causalmente necesaria.

3. Estructura del Gradiente y Pérdida de Información

El artículo deriva una explicación teórica basada en la distribución del gradiente:

• Agregación Media: Produce un gradiente denso y uniforme a través de todos los tokens. Esto fuerza al codificador a comprimir toda la información relevante para la autoría en un único vector temprano en la red para sobrevivir al proceso de promediado. Esto crea un "cuello de botella de consolidación" y conduce a la pérdida de información (Desigualdad de Procesamiento de Datos), ya que el promediado invariante a permutaciones descarta la estructura posicional.
• Interacción Tardía: Produce un gradiente disperso y selectivo (solo los tokens seleccionados por argmax reciben actualizaciones). Esto permite al codificador preservar la estructura por token y diferir la consolidación a capas más profundas y abstractas.

4. Dinámicas de Entrenamiento

El análisis de los puntos de control de entrenamiento (Figura 6) revela trayectorias de aprendizaje distintas:

• Agregación Media: Aprende de arriba hacia abajo. Inicialmente, el modelo depende de las capas superiores, y el punto de consolidación migra hacia abajo (de la capa 15 a la capa 9) a medida que avanza el entrenamiento, reclutando progresivamente capas más profundas para satisfacer el cuello de botella de consolidación temprana.
• Interacción Tardía: Muestra un pico transitorio en capas tempranas (capas 5–10) en pasos intermedios de entrenamiento, explotando coincidencias léxicas superficiales. A medida que continúa el entrenamiento y los negativos se vuelven más difíciles, el modelo suprime este atajo y desplaza la dependencia a capas más profundas (19+).
• PLI: Exhibe una emergencia gradual sin el pico temprano, mostrando una joroba única en capas medias (capas 10–15) en el punto de control final.

Significado y Afirmaciones

El artículo afirma resolver el acertijo de la brecha de rendimiento de cuatro veces en la atribución de autoría al demostrar que el cuello de botella no está en lo que el codificador aprende, sino en cómo el puntuador lo lee.

• Disociación de Disponibilidad y Uso: El estudio proporciona evidencia empírica de que la alta disponibilidad de características (precisión de las sondas) es un mal indicador del rendimiento de la tarea cuando los mecanismos de puntuación difieren. Todos los modelos poseen las características estilísticas necesarias; la diferencia radica en la necesidad causal de esas características en profundidades específicas.
• Mecanismo de Fallo: La agregación media fuerza una consolidación temprana de la señal, lo que destruye información estilística fina (como el orden de las palabras y las interacciones específicas de tokens) requerida para un AA de alto rendimiento. La interacción tardía preserva esta granularidad permitiendo que el modelo utilice representaciones más profundas y contextualizadas.
• Contribución Teórica: El trabajo vincula la estructura del gradiente de la función de puntuación (denso vs. disperso) directamente con la profundidad de la consolidación de la señal en el codificador, ofreciendo una explicación mecánica de por qué los sistemas basados en interacción superan consistentemente a las representaciones agrupadas en tareas de AA.

Los autores concluyen que la limitación principal en la atribución de autoría contrastiva no es la capacidad del codificador para codificar el estilo, sino la capacidad del mecanismo de puntuación para preservar y explotar ese estilo sin una compresión prematura.