On the Persistent Effects of Lexicality in Large Language Mod

Resumen Técnico: Sobre los efectos persistentes de la lexicalidad en los Grandes Modelos de Lenguaje

Planteamiento del Problema
Los Grandes Modelos de Lenguaje (LLM) se utilizan cada vez más como motores de incrustación (embeddings) de propósito general para recuperación, agrupamiento y evaluación. Un supuesto prevalente en el campo es que, a medida que las representaciones progresan a través de la profundidad del modelo, transicionan de estructuras léxicas locales hacia una semántica de nivel de secuencia más abstracta. Sin embargo, este artículo argumenta que este supuesto es frágil. La evidencia empírica sugiere que el solapamiento léxico suele persistir en las geometrías de las incrustaciones, causando que los modelos confundan la similitud de la forma superficial con la equivalencia semántica. Esta "influencia léxica" degrada el rendimiento de las tareas downstream que dependen de representaciones impulsadas por el significado, como la recuperación de documentos y la edición de modelos, al causar que los modelos prioricen tokens compartidos sobre el contenido semántico. Los autores señalan que la relación entre esta influencia léxica y el contenido semántico, así como su propagación a través de la profundidad del modelo y los regímenes de entrenamiento, sigue estando poco comprendida.

Metodología
Los autores investigan la evolución de las representaciones léxicas y semánticas a través de la profundidad del modelo utilizando un enfoque multifacético que involucra pruebas de estrés adversarias, sondeo por capas y análisis de teoría de la información.

1. Pruebas de Estrés Adversarias: El estudio emplea pruebas de estrés basadas en tríos utilizando los conjuntos de datos CounterFact y SugarCrepe++ (SCPP). Cada trío consiste en un ancla ($a$), una paráfrasis que preserva el significado ($p$) y un distractor léxico ($d$) que comparte un solapamiento de tokens significativo con el ancla pero difiere semánticamente. El éxito se define como que el modelo incruste el ancla más cerca de la paráfrasis que del distractor. Esta métrica cuantifica la tasa de fallo impulsada por el solapamiento léxico.
2. Sondeo por Capas (Layer-wise Probing):
   • Decodificabilidad Léxica: Se entrenan sondas lineales sobre los estados ocultos para predecir la identidad del token de entrada. Esto mide la accesibilidad lineal de la información de la forma superficial en cada capa.
   • Fidelidad Semántica: Las incrustaciones de oraciones de cada capa se evalúan en el Massive Text Embedding Benchmark (MTEB) utilizando cabezales ligeros estándar para evaluar el rendimiento semántico sin un ajuste fino (fine-tuning) específico de la tarea del backbone.
3. Análisis de la Teoría de la Información: Los autores analizan la entropía del prompt a través de las capas para caracterizar la dinámica de compresión y descompresión de la información, relacionando estos cambios con los comportamientos léxicos y semánticos observados.
4. Estudios de Caso Downstream: El impacto de la influencia léxica se examina en dos escenarios prácticos: la evaluación de la resúmen abstractivo (usando BERTScore y BARTScore) y la edición de hechos en modelos (usando AlphaEdit).

Resultos Clave

• Persistencia de la Influencia Léxica: La influencia léxica no se limita a las capas superficiales; persiste a lo largo de toda la profundidad de los modelos, incluyendo aquellos entrenados específicamente para la similitud semántica (modelos de incrustación). Si bien el ajuste de instrucciones (instruction tuning) y el aprendizaje de métricas mejoran la calidad general de las incrustaciones, no eliminan la susceptibilidad a los adversarios de solapamiento léxico.
• El Valle de Profundidad Media: Se observa un "valle" consistente en las capas intermedias (aproximadamente el 40–60% de la profundidad del modelo). En esta región:
  • La Decodificabilidad Léxica es mínima (la identidad del token es menos recuperable linealmente).
  • La Fidelidad Semántica se estanca o degrada en las tareas de clasificación, recuperación y similitud textual semántica.
  • Las Tasas de Fallo Léxico alcanzan su punto máximo, indicando que las representaciones son deficientes tanto para la forma superficial como para el significado.
• Progresión No Monotónica: La transición de representaciones léxicas a semánticas no es una progresión suave y monotónica. La decodificabilidad de la identidad del token fluctúa, y el rendimiento semántico se recupera solo en las capas posteriores, a menudo después del cuello de botella de baja entropía.
• Alineación de la Teoría de la Información: El valle de profundidad media se alinea con un cuello de botella de baja entropía y la fase inmediata de reexpansión. Contrario a algunas hipótesis previas que sugieren que el cuello de botella de baja entropía alberga las representaciones más fuertes, los autores encuentran que el rendimiento semántico es más débil aquí. Una geometría más fuerte y sensible al significado emerge más tarde durante la fase de reexpansión.
• Implicaciones Downstream:
  • Resumen: El solapamiento léxico causa que métricas de evaluación como BERTScore clasifiquen incorrectamente a distractores (que carecen de coherencia semántica) por encima de resúmenes de oro (gold summaries), incluso cuando los distractores carecen de coherencia semántica.
  • Edición de Modelos: Las actualizaciones dirigidas a hechos específicos se generalizan desproporcionadamente a prompts que son léxicamente similares pero semánticamente no relacionados. Este "sesgo léxico" compromete la localidad de las ediciones, causando cambios no deseados en el comportamiento del modelo para distractores que comparten tokens superficiales con el prompt de la edición.

Significancia y Reivindicaciones
El artículo afirma que la influencia léxica es una propiedad fundamental y persistente de las representaciones de los LLM que sobrevive a varios regímenes de entrenamiento, incluyendo el preentrenamiento, el ajuste de instrucciones y el aprendizaje contrastivo. Los autores argumentan que el heurístico estándar de utilizar las incrustaciones de la última capa o asumir una transición limpia de lo léxico a lo semántico es insuficiente.

La principal significancia radica en demostrar que:

1. El sesgo léxico es robusto: Persiste incluso en modelos diseñados explícitamente para minimizarlo, lo que sugiere que los paradigmas de entrenamiento actuales reducen pero no eliminan los atajos léxicos.
2. Las representaciones de capa media son transicionales: Las capas intermedias representan un régimen donde tanto las señales léxicas como las semánticas son débiles, desafiando la visión de que las capas intermedias son uniformemente óptimas para la extracción de características.
3. La evaluación y la edición son vulnerables: Las aplicaciones prácticas que dependen de la geometría de las incrustaciones están sistemáticamente sesgadas por el solapamiento de la forma superficial, lo que conduce a puntuaciones de similitud mal calibradas y a una localización de la edición de modelos comprometida.

Los autores concluyen que las pruebas de estrés controladas léxicamente deberían convertirse en un diagnóstico estándar para el aprendizaje de representaciones, las métricas automáticas y las intervenciones de modelos para asegurar la robustez contra fallos semánticos impulsados por el solapamiento. Proponen como trabajo futuro diseccionar el régimen de transición de profundidad media mediante transformaciones no lineales para comprender la estructura formada allí y prevenir errores impulsados por el solapamiento.