Computational Hermeneutics: Evaluating generative AI as a cultural technology

Resumen Técnico: Hermenéutica Computacional para la Evaluación de la IA Generativa

1. Planteamiento del Problema

El artículo identifica una limitación fundamental en los marcos de evaluación actuales de la Inteligencia Artificial Generativa (GenAI). Aunque se reconoce que la GenAI es una "tecnología cultural", las prácticas de evaluación predominantes tratan a la cultura como una variable secundaria (un sesgo a corregir, una restricción ética o un parámetro de preferencia) en lugar de un componente fundamental de la operación del sistema.

Los problemas centrales son:

• Reduccionismo de la cultura: Se operacionaliza la cultura como una métrica cuantificable (ej. precisión, F1-score) en lugar de entenderla como un espacio dinámico y disputado donde se construye el significado social.
• Fallo de los benchmarks estandarizados: Los métodos actuales asumen tareas universales con soluciones convergentes (una "verdad fundamental" única). Sin embargo, las tareas culturales (escribir una carta, pintar, dialogar) no tienen una única respuesta correcta; su valor reside en la interpretación dentro de un contexto específico.
• Evaluación estática: Las evaluaciones actuales suelen ser "de un solo golpe" (one-off), ignorando la naturaleza iterativa y contextual de la producción cultural y la interacción humano-máquina.

2. Metodología y Marco Teórico

Los autores proponen un nuevo paradigma basado en la Hermenéutica, una tradición de las humanidades centrada en la teoría y práctica de la interpretación. La metodología no es experimental en el sentido tradicional de laboratorio, sino conceptual y analítica, integrando teorías humanísticas (Gadamer, Dilthey, etc.) con la arquitectura de la IA.

• Concepto Central: La Hermenéutica Computacional. Se define en dos sentidos:
  1. La GenAI realiza inherentemente procesos interpretativos (no solo predicción estadística) al generar artefactos culturales.
  2. La evaluación de estos sistemas debe seguir el "círculo hermenéutico": una comprensión iterativa que oscila entre el análisis de partes específicas (tokens, interacciones) y el todo (arquitectura, contexto cultural).
• Enfoque: Se reencuadra a la GenAI como "máquinas de contexto" (context machines). Su función principal es responder a la pregunta: "Dado el contexto actual, ¿cuál es el siguiente token/pixel relevante?".

3. Contribuciones Clave: Los Tres Desafíos Hermenéuticos

El artículo identifica tres desafíos inherentes a los procesos interpretativos de la GenAI que deben ser abordados en la evaluación:

1. Situacionalidad (Situatedness): El significado solo emerge en contexto.
   • Crítica: Las interfaces actuales a menudo presentan a la IA con una "visión desde ningún lugar" (una perspectiva omnisciente y desincarnada).
   • Requerimiento: La evaluación debe reconocer y evaluar la perspectiva específica desde la cual el modelo opera, en lugar de buscar una perspectiva universal falsa.
2. Pluralidad (Plurality): Coexistencia de múltiples interpretaciones válidas.
   • Crítica: Los benchmarks buscan una solución convergente (una respuesta "correcta").
   • Requerimiento: Reconocer que lo que parece un sesgo desde una perspectiva puede ser un valor legítimo desde otra. La evaluación debe medir la capacidad del sistema para navegar y acomodar valores en conflicto sin forzar una resolución única.
3. Ambigüedad (Ambiguity): Las interpretaciones entran naturalmente en conflicto.
   • Crítica: La IA tradicional busca eliminar la ambigüedad (desambiguación semántica) tratándola como ruido.
   • Requerimiento: En la producción cultural, la ambigüedad es un recurso generativo. La evaluación debe medir cómo el sistema navega la ambigüedad de manera productiva, manteniendo la flexibilidad interpretativa necesaria para el compromiso cultural, en lugar de eliminarla.

4. Principios para la Evaluación Hermenéutica

Para operacionalizar este marco, los autores proponen tres principios para rediseñar los benchmarks y la evaluación de la IA:

1. Iteratividad (no eventos únicos):
   • La evaluación debe ser un proceso iterativo que refleje conversaciones evolutivas, no una sola pregunta-respuesta.
   • Debe evaluar tanto la capacidad holística del modelo como su comportamiento en interacciones específicas y en evolución (ej. diálogos de múltiples turnos).
2. Inclusión de Personas (no solo máquinas):
   • Los benchmarks deben medir la colaboración humano-IA, no el rendimiento aislado del modelo.
   • La interpretación emerge de la interacción; por tanto, las métricas deben evaluar el diálogo interpretativo y los efectos en la cognición humana (metacognición, normas relacionales).
3. Medición del Contexto Cultural (no solo del resultado):
   • El contexto no es una restricción, sino el medio a través del cual emerge el rendimiento.
   • Las evaluaciones deben ser sensibles a las variaciones socioculturales, evaluando la "apropiación" (appropriateness) de una respuesta dentro de un marco cultural específico, en lugar de su "exactitud" universal.

5. Resultados y Hallazgos Teóricos

Aunque el artículo es una perspectiva teórica y no presenta nuevos datos empíricos propios, sintetiza hallazgos de la literatura existente para apoyar su tesis:

• Validación del enfoque: Se demuestra que los modelos de lenguaje (LLMs) y de visión ya operan mediante "círculos hermenéuticos" (ej. mecanismos de auto-atención que relacionan partes con el todo), pero la evaluación actual ignora esta naturaleza.
• Fallo de los proxies: Se argumenta que la dependencia actual de métricas estandarizadas (como BLEU o precisión) sufre de "fallo de proxy" (proxy failure), ya que miden la capacidad de imitación estadística en lugar de la capacidad de generar significado cultural legítimo.
• Ejemplos emergentes: Se citan trabajos recientes (como CulturalFrames o Videonorms) que comienzan a incorporar anotaciones humanas y variaciones culturales, validando la viabilidad de los principios propuestos.

6. Significado e Impacto

Este artículo representa un cambio de paradigma en la investigación de la IA:

• De la Precisión al Significado: Cambia el foco de las preguntas estandarizadas sobre "qué tan preciso es el modelo" a preguntas contextuales sobre "qué significa esta salida en este contexto cultural".
• Puente Interdisciplinario: Ofrece un marco para que los humanistas (especialistas en hermenéutica, historia, arte) contribuyan activamente al desarrollo técnico de la IA, no solo como críticos éticos, sino como arquitectos de la evaluación.
• Diseño de Sistemas: Sugiere que los futuros sistemas de IA deben diseñarse no como generadores de respuestas, sino como socios interpretativos que reconocen la naturaleza situada, plural y ambigua de la cultura humana.
• Relevancia Futura: Proporciona una hoja de ruta para evitar que la IA homogeneice la cultura, proponiendo métodos que respeten y evalúen la diversidad de significados y la complejidad de la interacción humano-máquina.

En conclusión, la Hermenéutica Computacional se presenta como un marco necesario para evaluar la GenAI como una tecnología cultural, exigiendo que la evaluación evolucione desde métricas estáticas y universales hacia procesos dinámicos, iterativos y profundamente contextualizados.