Resumen Técnico: HALvest-Contrastive

Enunciado del Problema

La Atribución de Autoría (AA) enfrenta un desafío persistente conocido como confusión temática. Los enfoques estadísticos y neuronales tradicionales a menudo luchan por distinguir entre la similitud estilística y la superposición temática; dos autores que cubren el mismo sujeto frecuentemente parecen más similares para un modelo que un único autor que cubre dos temas diferentes. Si bien los sistemas neuronales de AA han adoptado el aprendizaje contrastivo (por ejemplo, pérdida de tripletas), a menudo dependen de comprimir documentos enteros en vectores únicos mediante agrupación media, una estrategia heredada de los métodos estadísticos tempranos pero potencialmente subóptima para capturar señales estilísticas matizadas. Además, las pruebas de referencia existentes a menudo fallan en desacoplar rigurosamente el tema de la autoría, permitiendo que los modelos dependan de "atajos temáticos" (superposición de vocabulario) en lugar de aprender distribuciones estilísticas verdaderas.

Metodología

1. El Corpus HALvest y la Prueba de Referencia HALvest-Contrastive

Los autores introducen HALvest, un corpus multilingüe de 17 mil millones de tokens extraído de 778,000 artículos académicos de acceso abierto a través del repositorio HAL. De esto, derivan HALvest-Contrastive, una prueba de referencia solo en inglés diseñada para imponer desacoplamiento temático:

• Pares Positivos: Los pasajes ancla y positivos se extraen de diferentes artículos escritos por el mismo conjunto de autores, asegurando una superposición temática mínima mientras se mantiene la consistencia estilística.
• Pares Negativos: Los negativos se extraen del mismo campo disciplinario pero por diferentes conjuntos de autores.
• Etiquetado: La verdad fundamental es el conjunto de autores (coautores) en lugar de un solo individuo, reflejando la estructura de metadatos de los repositorios académicos y evitando heurísticas arbitrarias de autor único.
• Longitudes de Fragmentos: El conjunto de datos soporta longitudes de fragmentos variables ($k \in \{2, 4, 6, 8, 10\}$ oraciones) para evaluar cómo escalan las señales estilísticas con la longitud del texto.

2. Arquitectura Similar a la Recuperación para AA

El artículo aplica el "manual de recuperación" a la atribución de autoría, alejándose de la pérdida de tripletas estándar y la agrupación de vectores únicos:

• Función de Pérdida: Los autores emplean InfoNCE (Estimación de Contraste de Ruido) en lugar de la pérdida de tripletas. InfoNCE aprovecha grandes pools de negativos en el lote, lo que concentra naturalmente los gradientes en negativos difíciles (documentos temáticamente similares pero de diferentes autores), ayudando en la decorrelación del estilo del tema.
• Granularidad de Interacción: El artículo investiga tres modos de puntuación:
  1. Agrupación de Vector Único: Agrupación media estándar de incrustaciones de tokens seguida de similitud coseno.
  2. Interacción Tardía (LI): Los documentos se representan como secuencias completas de vectores de tokens. La puntuación utiliza MaxSim (suma de las similitudes coseno máximas entre los tokens de la consulta y los del documento), una técnica común en la recuperación densa (por ejemplo, ColBERT).
  3. Interacción Tardía a Nivel de Parche (PLI): Los vectores de tokens se agrupan en parches contiguos (ya sea $n$-gramas fijos o palabras completas), se agrupan en vectores de parche únicos y luego se emparejan mediante MaxSim a nivel de parche. Esto reduce los costos de almacenamiento y computación mientras mantiene la granularidad de la interacción.

Contribuciones Clave

1. HALvest y HALvest-Contrastive: El lanzamiento de un corpus académico multilingüe a gran escala y una prueba de referencia en inglés rigurosamente construida que minimiza la superposición temática entre pares del mismo autor, proporcionando un protocolo de evaluación más estricto para la estilometría.
2. Validación Empírica del Desacoplamiento Temático: Los autores demuestran que las líneas base léxicas (por ejemplo, BM25) sufren caídas significativas de rendimiento cuando se eliminan los atajos temáticos, mientras que los modelos contrastivos neuronales mantienen la precisión, confirmando que la prueba de referencia aísla exitosamente las señales estilísticas.
3. Estudio de Granularidad: Una comparación sistemática de estrategias de agrupación revela que la Interacción Tardía supera significativamente a la agrupación de vectores únicos. Crucialmente, el artículo introduce la Interacción Tardía a Nivel de Parche (PLI), mostrando que agrupar tokens en parches produce una precisión comparable o ligeramente mejor que la interacción a nivel de token completo, mientras reduce la cantidad de vectores.
4. Ajuste Empírico del Tamaño de Parche: Los autores identifican una heurística práctica para el tamaño de parche óptimo $n^*$ en relación con la cuenta de tokens $S$: $n^* \approx 0.18 \cdot \sqrt{S}$. Esto sugiere que la granularidad de interacción óptima escala sub-linealmente con la longitud del documento.

Resultados

• Desacoplamiento Temático: En la configuración "Base" (restringida), la precisión de BM25 cae aproximadamente 11 puntos porcentuales en comparación con la configuración "Sin Restricciones", mientras que los modelos neuronales (RoBERTa) muestran robustez, indicando que aprenden señales más allá de la superposición léxica.
• Ganancias de Rendimiento: Las variantes de Interacción Tardía (LI) y PLI superan consistentemente a la agrupación media en todas las métricas (Recall@k, nDCG@k) y longitudes de fragmentos. La ganancia es de aproximadamente el 20% sobre la agrupación media al mantener el codificador fijo y cambiar el puntuador.
• Compensaciones de Granularidad: Si bien la LI a nivel de token es competitiva, la PLI de política fija (específicamente las variantes de $n$-gramas) a menudo iguala o supera ligeramente el rendimiento a nivel de token con una sobrecarga computacional menor. El $n$ óptimo varía según la longitud del fragmento pero sigue la tendencia $\sqrt{S}$.
• Generalización Transversal de Dominios: Los modelos entrenados en HALvest-Contrastive logran una fuerte precisión de tripletas cero-shot (0.740) en el conjunto de datos PAN19 de fan-fiction, lo que sugiere que las representaciones aprendidas capturan el estilo de autoría en lugar de solo el registro académico o el tema.
• Escalado de Negativos: Aumentar el tamaño del pool de negativos en el lote (de 256 a 512) produce mejoras consistentes, aunque pequeñas, alineándose con los hallazgos en la literatura de recuperación de información.

Significado y Afirmaciones

El artículo argumenta que la prosa académica es un campo de pruebas ideal para la estilometría debido a su naturaleza de baja entropía y estandarizada, lo que hace que los residuos estilísticos sean más fáciles de aislar del ruido temático. Al aplicar técnicas de recuperación (InfoNCE e Interacción Tardía) a la AA, los autores demuestran que:

1. La AA es distinta de la recuperación semántica: Los modelos estilísticos ajustados separan eficazmente los pares del mismo autor, mientras que los codificadores semánticos (como E5) fallan en distinguir la autoría a pesar de la alta similitud semántica.
2. La granularidad importa: El "manual de recuperación" se transfiere en gran medida a la AA, pero la granularidad de interacción óptima es sutil. La coincidencia a nivel de token no es uniformemente superior; el parcheo ofrece una alternativa computacionalmente eficiente que preserva el rendimiento.
3. Utilidad Práctica: La fórmula derivada $n^* \approx 0.18 \cdot \sqrt{S}$ proporciona un punto de partida práctico para los profesionales que diseñan sistemas de AA, equilibrando la precisión con los costos de almacenamiento e inferencia.

Los autores concluyen que, si bien el paradigma de recuperación mejora el rendimiento de la AA, la elección específica de la granularidad de interacción (parches frente a tokens) es una decisión de diseño crítica que difiere de las tareas estándar de recuperación semántica. El trabajo proporciona código de código abierto, scripts de construcción de corpus y el conjunto de datos en sí para facilitar la investigación futura.