Measuring Alignment With Reader Highlights Net of Position and Length

Resumen Técnico: Medición de la Alineación con los Resaltados de Lectores Neto de Posición y Longitud

Planteamiento del Problema
Los métodos actuales para evaluar la compresión de contexto en modelos de lenguaje de gran tamaño (LLM) dependen de la precisión en tareas posteriores, lo que crea un bucle de evaluación circular donde un modelo juzga qué es lo que "importa" para otro. Este artículo propone el uso de resaltado social naturalista —donde lectores independientes marcan pasajes en páginas web públicas para su propio uso— como una referencia no circular de lo que los lectores eligen conservar.

Sin embargo, una métrica ingenua (la fracción de oraciones marcadas por la multitud que un compresor retiene) está confundida por dos sesgos fuertes:

1. Sesgo de Posición: Las marcas de la multitud están concentradas al principio; los lectores tienden a resaltar oraciones tempranas.
2. Sesgo de Longitud: Las oraciones marcadas por la multitud son significativamente más largas que las no marcadas.

Consecuentemente, la truncación simple (mantener las primeras $N$ oraciones) o la selección basada en la longitud logran puntuaciones altas en esta métrica sin capturar realmente la intención del lector. El problema central es medir la alineación con los resaltados de los lectores neto de estos dos factores de confusión.

Metodología
Los autores introducen un marco de estimación riguroso diseñado para aislar la señal de la elección del lector de la posición y la longitud.

• Datos: El conjunto de evaluación consta de 120 documentos web públicos (78 dominios), cada uno marcado por al menos 12 lectores independientes. Las oraciones se etiquetan como "marcadas por la multitud" si caen en el 15% superior por conteo de marcas (con un mínimo de dos marcas).
• Estimador de Emparejamiento: Para eliminar los factores de confusión, el método empareja cada oración marcada contra oraciones no marcadas dentro del mismo documento basándose en:
  • Profundidad Relativa: Dentro de $\pm 0.05$ de la posición de la oración marcada en el documento.
  • Rango de Longitud dentro del Documento: Dentro de $\pm 0.05$ del rango de longitud de la oración marcada.
    El estimador calcula el enriquecimiento ($E_d$) como la diferencia entre la fracción de oraciones marcadas retenidas y la fracción de sus vecinos no marcados emparejados retenidos.
• Calibración y Pruebas de Nulidad: Una contribución crítica es la calibración del estimador mismo. Los autores generan conjuntos de datos nulos sintéticos donde el conjunto de "mantener" se determina únicamente por posición y longitud (simulando un factor de confusión perfecto). Encuentran que la estratificación estándar de solo profundidad produce una tasa de falsos positivos del 20–36%, mientras que su estimador emparejado mantiene una tasa de falsos positivos del 4.5–7.0%.
• Prueba de Aleatorización: La significancia se evalúa mediante una prueba de aleatorización exacta que reasigna el estatus de tratamiento dentro de los conjuntos emparejados, sin asumir nada sobre el agrupamiento.

Contribuciones Clave

1. Calibración de Controles de Confusión: El artículo cuantifica la tasa de error de los controles de emparejamiento estándar, demostrando que la estratificación de solo profundidad falla significativamente (20–36% de falsos positivos) cuando hay confusiones sintéticas presentes.
2. Señal de Alineación Robusta: Un ranking de importancia de lenguaje mantiene el 38.4% de las oraciones marcadas por la multitud frente al 19.9% de sus vecinos emparejados, lo que resulta en un enriquecimiento de +0.196 ($p=0.0005$). Este resultado se replica en dos proveedores de LLM diferentes (GPT-5.4 y Claude Opus 5).
3. Comparación con Baselines: Los métodos extractivos clásicos no son nulos. El heurístico de Luhn de 1958 logra un enriquecimiento de +0.088, recuperando aproximadamente la mitad del efecto del LLM. Esto sugiere que la selección del lector es parcialmente recuperable contando palabras, con los LLM duplicando aproximadamente el rendimiento del mejor método léxico económico.
4. Sensibilidad al Encuadre del Prompt: El resultado es altamente sensible al encuadre del prompt. Pedir a un modelo "qué es importante mantener" produce una alineación significativamente mayor (+0.158) que preguntar "qué resaltaría un lector típico" (+0.074).
5. Corrección de Trabajo Previo: Los autores reportan una no-replicación de su propio trabajo previo, el cual afirmaba que los modelos zero-shot funcionaban peor que un baseline de liderazgo. En este corpus, la instrucción publicada muestra un enriquecimiento real (+0.074) cuando se evalúa con el nuevo estimador emparejado.

Resultados

• Efecto Principal: El enriquecimiento del LLM de +0.196 es estadísticamente significativo y estable a través de las tolerancias de emparejamiento (0.03 a 0.10).
• Características Superficiales: Condicionar sobre la centralidad léxica reduce el efecto en solo ~0.010 (5%), indicando que el acuerdo no se debe meramente a que el modelo identifique vocabulario central.
• Contigüidad: El efecto no es un artefacto de las marcas a nivel de párrafo; las marcas aisladas muestran una fuerte alineación (+0.227 para GPT-5.4).
• Ratio de Compresión: La magnitud del efecto varía según el ratio de compresión, alcanzando su máximo en $r=0.30$ (+0.222) y cayendo a +0.083 en $r=0.05$. El resultado principal (+0.196) se reporta en $r=0.20$.
• Baseline Humano: Al compararse con un solo lector humano (cuyas marcas se recalculan excluyéndose a sí mismo), el LLM (GPT-5.4) logra un enriquecimiento de +0.184, el cual es estadísticamente indistinguible del baseline humano (+0.182). Un modelo más fuerte (Claude Opus 5) supera el baseline humano (+0.230).
• LLMLingua-2: Un compresor diseñado específicamente (LLMLingua-2) muestra un enriquecimiento de +0.038, el cual no es estadísticamente significativo ($p=0.085$) y cae dentro del intervalo de confianza del baseline de Luhn.

Significancia y Reivindicaciones
El artículo afirma que los modelos de lenguaje pueden alinearse con el comportamiento de lectura humana no provocada más allá de las simples características superficiales como la posición y la longitud. Sin embargo, los autores son modestos en su interpretación:

• No es Superioridad Categórica: El hallazgo no es que los LLM sean categóricamente diferentes de los métodos económicos; más bien, duplican la señal recuperable por heurísticas léxicas.
• No es "Atención Humana": La alineación se mide como el acuerdo con lo que los lectores eligieron mantener, no como una medida objetiva de importancia.
• Evaluación No Circular: El estudio proporciona una referencia no circular para la evaluación de la compresión, evitando la trampa de usar un modelo para juzgar a otro.
• Limitaciones: Los autores reconocen limitaciones incluyendo la fuente de datos de una sola plataforma, la posible contaminación por preentrenamiento (aunque las pruebas de recencia de marcas sugieren que no es el motor) y el hecho de que el tamaño del efecto varía significamente con el ratio de compresión. Establecen explícitamente que el resultado permite afirmar que los modelos están de acuerdo con los lectores "más allá de la posición, la longitud y las siete características en la tabla de balance", pero no prueba que el mecanismo sea la "atención humana".