Resumen Técnico: Marco LEX-EC para la Clasificación de Personalidad mediante Zero-Shot en LLMs

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) pueden asignar etiquetas de personalidad (específicamente rasgos del Inventario Big Five) a los autores basándose en el texto, pero la validez e interpretabilidad de estas inferencias siguen siendo problemas abiertos. Una etiqueta plausible no garantiza una etiqueta válida; los modelos pueden depender de la prevalencia de las etiquetas, de los sesgos demográficos o de atajos de contenido temático en lugar de señales genuinas de rasgos. Este problema se ve exacerbado en entornos de caja negra donde los métodos estándar de interpretabilidad (que requieren acceso a pesos, gradientes o activaciones) son inaplicables. Además, trabajos previos suelen agregar múltiples textos por autor, dejando poco caracterizado el rendimiento de la inferencia zero-shot en condiciones de longitud limitada o de un solo texto.

Metodología: El Marco LEX-EC

Para abordar estas brechas, los autores introducen LEX-EC (Auditoría de Canal de Evidencia Léxica), un marco de auditoría de caja negra reutilizable diseñado para distinguir los efectos de la distribución marginal de las señales asociadas a rasgos recuperables bajo evidencia restringida. El marco opera a través de cinco etapas integradas:

1. Diagnósticos de Prevalencia y Acuerdo: Evalúa la prevalencia de la clasificación, la asociación a nivel de ítem y el acuerdo corregido por azar (Cohen's $\kappa$) para separar la señal genuina del sesgo de prevalencia de la predicción.
2. Ablación Léxica Controlada: Un componente central donde el contenido temático y demográfico es enmascarado. El marco retiene una "capa léxica preservada" que consiste en:
   • Palabras funcionales (clases POS).
   • Términos afectivos (de Empath y NRC-EmoLex).
   • Vocabulario de estilo cognitivo.
   • Elementos estructurales (puntuación, espacios en blanco).
   • Los números se enmascaran para evitar la codificación de edad o conteos.
     Este proceso prueba si las asociaciones persisten cuando se elimina el vocabulario portador de contenido.
3. Análisis de Sensibilidad de Prompts: Compara las salidas del modelo bajo diferentes formulaciones de prompts (Básico, Básico+Explicación, y Lingüístico+Explicación) para evaluar cómo los cambios en la instrucción afectan las autoexplicaciones y las predicciones.
4. Evaluación de Condiciones Cruzadas: El marco evalúa conjuntamente el rendimiento de la clasificación a través de gradientes de longitud de texto (micro, corto y media longitud), diferentes géneros y múltiples instantáneas de modelos.
5. Auditoría de Autoexplicación: Codifica manualmente las justificaciones generadas por el modelo para determinar si el prompting lingüístico desplaza los razonamientos hacia evidencia estilística/afectiva en lugar de contenido demográfico/temático.

Configuración Experimental

• Datasets: Se utilizaron tres géneros distintos para abarcar gradientes de longitud de texto:
  • Estados de Facebook: ~17 tokens (micro-texto), balanceados para la distribución de rasgos.
  • Introducciones de Estudiantes de Posgrado: ~89 tokens (texto corto), que contienen detalles demográficos/biográficos.
  • Ensayos de Pennebaker-King: ~672 tokens (texto de longitud media), escritura de flujo de conciencia.
• Modelos: Se evaluaron cinco LLMs propietarios y cerrados (GPT-4o-mini, GPT-4o, o3-mini, GPT-5.4-mini y Claude Haiku 4.5) para asegurar que los hallazgos no sean artefactos de una única instantánea de modelo.
• Tarea: Predicción zero-shot de etiquetas binarias de alto/bajo para los rasgos del Big Five (Apertura, Responsabilidad, Extraversión, Amabilidad, Neuroticismo).

Resultados Clave

1. Dependencia de la Longitud del Texto y el Género

• Ensayos (Formato largo): Produjeron las asociaciones más amplias en todos los cinco rasgos. Sin embargo, incluso en esta condición, el acuerdo corregido por azar ($\kappa$) se mantuvo bajo (ej., $\kappa \approx 0.12-0.22$), lo que indica que la detectabilidad estadística no se tradujo en una clasificación fiable a nivel individual.
• Introducciones de Estudiantes (Formato corto): Mostraron un patrón más estrecho, siendo la Extraversión el único rasgo con asociaciones estadísticamente detectables pre-ablación en la mayoría de las condiciones.
• Estados de Facebook (Micro-texto): No arrojaron evidencia estable. Incluso en una muestra balanceada por rasgos, la mayoría de las asociaciones fueron débiles o inexistentes, sugiriendo un límite inferior de contenido o longitud requerido para una inferencia fiable.

2. Impacto de la Ablación Léxica (Enmascaramiento)

El enmascaramiento del contenido temático y demográfico reveló dependencias heterogéneas de la evidencia léxica:

• Extraversión: En las introducciones de estudiantes, la asociación se debilitó significamente tras el enmascaramiento (ej., $\rho$ cayó de 0.226 a 0.062 en una condición), sugiriendo una dependencia de claves léxicas explícitas que suelen encontrarse en la autopresentación.
• Responsabilidad (Conscientiousness): En el corpus de ensayos, este rasgo mostró la mayor atenuación tras el enmascaramiento, indicando una fuerte dependencia del vocabulario portador de contenido.
• Apertura y Amabilidad: Estos rasgos se mantuvieron comparativamente estables en la condición de ensayo tras el enmascaramiento, sugiriendo que sus señales pueden ser recuperables a partir de palabras funcionales, términos afectivos o vocabulario de estilo cognitivo.
• Facebook: Las asociaciones pre-ablación desaparecieron en gran medida tras el enmascaramiento, consistente con una dependencia de evidencia léxica dispersa que fue eliminada.

3. Sensibilidad de los Prompts

• Autoexplicaciones: El prompting lingüístico logró desplazar la distribución de las autoexplicaciones del modelo. Bajo un prompt lingüístico, las explicaciones que citaban evidencia lingüística/afectiva aumentaron (del 50% al 67.7%), mientras que aquellas que citaban razonamiento demográfico o temático disminuyeron.
• Rendimiento Predictivo: Aunque el contenido de las explicaciones cambió, el rendimiento predictivo (correlación y acuerdo) no mostró una ventaja consistente para el prompt lingüístico sobre el prompt básico en los modelos.
• Fidelidad: El estudio señala que las autoexplicaciones fluidas pueden no reflejar fielmente la computación que produce la predicción, sirviendo solo como salidas conductuales agregadas.

Significancia y Reivindicaciones

El artículo afirma que LEX-EC proporciona una aplicación novedosa de los métodos léxicos a la interpretabilidad de caja negra en el etiquetado de personalidad. Sus principales contribuciones son:

1. Diferenciación de Fuentes de Señal: El marco distingue con éxito entre las señales derivadas de contenido temático amplio y aquellas recuperables de canales psicolingüísticos restringidos (palabras funcionales, afecto, cognición).
2. Evidencia de Heterogeneidad: Demuestra que la "inferencia de personalidad" no es una capacidad unitaria; los perfiles de evidencia varían significativamente según el género, la longitud del texto y el rasgo específico.
3. Utilidad de Auditoría: Al evaluar conjuntamente la prevalencia, el acuerdo a nivel de ítem, la persistencia del canal léxico y el contenido de la explicación, LEX-EC revela información invisible para las medidas estadísticas convencionales por sí solas.
4. Implicaciones Prácticas: Los resultados sugieren que los sistemas de etiquetado de personalidad deben usarse con cautela, particularmente para textos cortos o entradas de un solo estado, ya que pueden depender de atajos demográficos o claves temáticas en lugar de señales de rasgos estables. El marco tiene como objetivo estrechar las hipótesis causales e informar decisiones sobre las condiciones bajo las cuales tales sistemas deberían desplegarse.

Los autores mantienen la modestia en sus afirmaciones, señalando que el estudio no demuestra que los modelos estén "pensando" de formas específicas, sino que caracteriza las salidas conductuales y las condiciones bajo las cuales canales específicos de evidencia léxica apoyan o no las asociaciones de rasgos.