Resumen Técnico: La Presunción de Proxy: Desde Incrustaciones Semánticas hasta Medidas Sociales Válidas

1. Declaración del Problema: La Presunción de Proxy

El artículo identifica una crisis fundamental de validez en la aplicación del Procesamiento del Lenguaje Natural (PLN) a la Ciencia Social Computacional (CSC). Aunque el PLN se utiliza cada vez más para medir constructos sociales latentes (por ejemplo, novedad, creatividad, sesgo, ideología) mediante incrustaciones semánticas, el campo se basa en una "Presunción de Proxy". Esta presunción asume que las propiedades geométricas de los espacios de incrustación (por ejemplo, la distancia o similitud del coseno) sirven como medidas directas y válidas de conceptos sociales teóricos sin una validación empírica suficiente.

Los autores argumentan que este enfoque constituye un problema de no identificación. Las incrustaciones no supervisadas comprimen múltiples factores generativos en una sola representación, enredando el constructo objetivo ($C$) con atributos de molestia ($Z$), como el tema, el estilo, el registro, la autoría y la longitud. Sin un desentrelazamiento explícito o controles basados en el diseño, las métricas estándar a menudo capturan la varianza metodológica (por ejemplo, cambios de tema o cambios de vocabulario) en lugar del fenómeno social pretendido. El artículo formaliza esto como un problema inverso mal planteado donde recuperar un constructo latente a partir de un texto observado es teóricamente imposible sin suposiciones estructurales o intervenciones.

2. Marco Metodológico

2.1 Formalización Teórica

Los autores modelan la generación de documentos como un proceso estocástico $p_\theta(D | c, z)$, donde $D$ es el documento, $c$ es el constructo objetivo escalar y $z$ es un vector de atributos de molestia.

• Ambigüedad Rotacional: Basándose en el aprendizaje de representaciones causales (Locatello et al., 2019; Schölkopf et al., 2021), el artículo demuestra que los objetivos no supervisados que maximizan la verosimilitud de los datos no pueden distinguir entre la base latente verdadera y una base arbitrariamente rotada. En consecuencia, la dimensión de incrustación aprendida utilizada para la medición es una mezcla inseparable de $c$ y $z$.
• Indeterminación de la Métrica: Incluso con un codificador perfectamente desentrelazado, aplicar funciones geométricas (como la similitud del coseno o la distancia euclidiana) a las incrustaciones completas falla porque la métrica puede estar dominada por la varianza de molestia ($z$) en lugar de la varianza del constructo ($c$). Por ejemplo, una alta similitud del coseno puede reflejar temas compartidos en lugar de similitud conceptual.

2.2 Intervenciones Propuestas

Para mitigar el entrelazamiento, el artículo describe una estrategia de intervención de tres niveles:

1. Desentrelazamiento de Entrada: Preprocesar el texto para reducir la dependencia de $Z$ (por ejemplo, extrayendo solo segmentos relevantes para el constructo mediante LLM, normalización estilística o enmascaramiento de entidades).
2. Desentrelazamiento de Representación: Entrenar codificadores para suprimir $Z$ mientras se preserva $C$ utilizando eliminación adversaria, proyección en el espacio nulo o aprendizaje contrastivo.
3. Desentrelazamiento Metodológico: Diseñar funciones de puntuación que cancelen las contribuciones de molestia. Los autores proponen la Neutralización Contrafactual, donde una medición se define como la diferencia entre una incrustación observada y una incrustación "neutralizada" contrafactual (donde la señal del constructo se minimiza pero $Z$ se preserva).

2.3 El Protocolo de Validez del Constructo (CVP)

La contribución central es el Protocolo de Validez del Constructo (CVP), una tubería estandarizada adaptada de la psicometría y la inferencia causal para validar medidas basadas en incrustaciones. Consiste en tres fases:

• Fase 1: Conceptualización: Establecer la validez de apariencia y contenido mediante el escrutinio de expertos. Esto implica definir el constructo, enumerar las dimensiones de molestia y crear un conjunto de anclaje de "grupos conocidos" (ejemplos altos, bajos y limítrofes) para auditar los límites de decisión.
• Fase 2: Operacionalización: Diseñar instrumentos que reduzcan el entrelazamiento utilizando las intervenciones descritas anteriormente.
• Fase 3: El Conjunto de Validez: Un marco de informes estructurado (una "Tarjeta de Validez") que requiere cinco tipos específicos de evidencia:
  1. Fiabilidad/Estabilidad: Probar la robustez frente a perturbaciones (variantes de codificador, parafraseo de indicaciones) utilizando los Coeficientes de Correlación Intraclass (ICC).
  2. Validez Convergente: Correlación con una medida externa independiente y "estándar de oro" del mismo constructo.
  3. Validez Discriminante e Incremental: Demostrar que la medida es distinta de los factores de molestia (por ejemplo, tema, longitud) y agrega poder explicativo más allá de ellos para una etiqueta de validación externa.
  4. Validez de Grupos Conocidos: Demostrar que la medida separa grupos preespecificados de alto y bajo constructo.
  5. Evidencia Relacionada con el Criterio: Predecir resultados posteriores en la dirección teorizada mientras se controlan variables de molestia fuertes.

3. Resultados Clave y Análisis Empírico

3.1 Ejemplo Trabajado (GoEmotions)

Los autores aplicaron el CVP al conjunto de datos GoEmotions para medir "gratitud".

• Fiabilidad: Al variar codificadores, métodos de agrupación y normalización, lograron una alta estabilidad (ICC(2,1) = 0.8467).
• Validez Discriminante: Un análisis de regresión mostró que la puntuación proxy era en gran medida recuperable a partir de características temáticas ($R^2 = 0.7762$), lo que indica un entrelazamiento significativo con variables de molestia.
• Validez Incremental: A pesar del entrelazamiento, agregar la proxy a un modelo que contenía solo características de molestia mejoró significativamente la predicción de etiquetas humanas (el AUC aumentó de 0.9658 a 0.9831), demostrando que la señal del constructo existe pero está mezclada con ruido.
• Análisis de Errores: La auditoría reveló modos de fallo específicos, como falsos positivos donde "gracias" se usaba de forma sarcástica, destacando la necesidad de la auditoría de "grupos conocidos" en la Fase 1.

3.2 Revisión Forense de la Literatura

Los autores realizaron un análisis forense de 17 artículos influyentes (2020–2025) que proponen métricas computacionales para constructos sociales.

• Hallazgos: Aunque la mayoría de los artículos proporcionaron definiciones de constructos y evidencia de apariencia/contenido (a menudo mediante ejemplos cualitativos), carecían en gran medida de evidencia rigurosa de identificación.
  • Validez Discriminante: 0 artículos demostraron plenamente la validez discriminante (descartando la suplantación de molestia).
  • Validez Convergente: Solo 1 artículo estableció convergencia frente a un instrumento independiente en la misma unidad de análisis.
  • Identificación Causal: Ninguno de los artículos muestreados utilizó métodos de identificación causal para aislar constructos de factores de confusión; la dependencia se basó en heurísticas o controles asociativos.
• Conclusión: La literatura documenta frecuentemente que un proxy está definido y es lo suficientemente estable para computarse, pero rara vez demuestra que aísla el constructo pretendido. Esto crea un riesgo de la "Falacia Jangle", donde diferentes artículos afirman medir el mismo constructo pero en realidad están rastreando diferentes mezclas de señal y ruido.

4. Contribuciones Clave

1. Resultado de No Identificación: Formalizar por qué las métricas no supervisadas no pueden recuperar constructos latentes de manera fiable sin suposiciones o intervenciones explícitas, demostrando que la independencia estadística no implica desentrelazamiento.
2. Soluciones Metodológicas: Proponer la Neutralización Contrafactual y conectarla con herramientas existentes de eliminación de sesgos (eliminación adversaria, proyección en el espacio nulo).
3. El Protocolo de Validez del Constructo (CVP): Proporcionar un estándar de informes orientado a la comunidad que avanza desde la conceptualización hasta una Tarjeta de Validez estructurada, asegurando que las medidas sean defendibles científicamente.
4. Evidencia Forense: Documentar la prevalencia de la Presunción de Proxy en la literatura reciente, mostrando una brecha sistemática entre los proxies geométricos y las medidas sociales válidas.

5. Significado y Afirmaciones

El artículo se posiciona como una contribución de posición y síntesis, no como un estándar final. Su significado principal radica en:

• Cambio de la Carga de la Prueba: Argumentar que la "medición por renombramiento" (igualar la distancia geométrica con conceptos sociales) es insuficiente. La validez debe demostrarse empíricamente, no asumirse.
• Habilitación de la Ciencia Cumulativa: Al estandarizar los informes de validez (mediante la Tarjeta de Validez), el protocolo tiene como objetivo hacer que los resultados sean comparables entre estudios y reducir el riesgo de que la fuga de temas/estilo se haga pasar por señales sociales.
• Defensa de la Inferencia Posterior: Enfatizar que si la construcción de variables carece de validez, ningún método causal de ML posterior puede establecer rigurosamente la causalidad.

Los autores declaran explícitamente que no buscan prohibir el uso de proxies, sino hacerlos probables. Reconocen limitaciones, señalando que su codificación refleja prácticas reportadas (que pueden subestimar análisis no publicados) y que el propio CVP requiere mayor iteración y estudios de caso empíricos prospectivos para cuantificar los costos prácticos y los modos de fallo. El objetivo es transformar los proxies heurísticos en instrumentos robustos y defendibles científicamente para la Ciencia Social Computacional.