Computational Hermeneutics: Evaluating generative AI as a cultural technology

Resumo Técnico: Hermenêutica Computacional

1. O Problema

O artigo identifica uma lacuna fundamental na avaliação atual de Sistemas de IA Generativa (GenAI). Embora a comunidade de IA reconheça cada vez mais que a GenAI é uma "tecnologia cultural", os frameworks de avaliação predominantes tratam a cultura como uma variável secundária a ser medida, corrigida (como viés) ou otimizada, em vez de um componente fundamental da operação do sistema.

Os principais problemas abordados são:

• Reducionismo Cultural: A cultura é frequentemente operacionalizada como um conjunto de variáveis mensuráveis (ex: viés, preferências do usuário), ignorando sua natureza dinâmica, contestada e constitutiva de significado social.
• Falha dos Benchmarks Atuais: As práticas padrão de benchmarking assumem tarefas universais com soluções convergentes (uma "verdade fundamental" ou ground truth). Isso é inadequado para tarefas culturais (como escrever uma carta, compor uma música ou pintar), onde o sucesso não é definido pela proximidade de uma única resposta correta, mas pela negociação de múltiplas interpretações válidas dentro de um contexto específico.
• Ilusão de Objetividade: Os sistemas atuais são frequentemente apresentados como tendo uma "visão de Deus" (uma perspectiva universal e desincorporada), ignorando que todo significado emerge de um contexto situado.

2. Metodologia e Fundamentação Teórica

Os autores propõem a Hermenêutica Computacional como um novo paradigma teórico e prático. A metodologia baseia-se na aplicação de teorias das humanidades (especificamente a hermenêutica, a teoria da interpretação) à engenharia de IA.

• Conceito Central: A GenAI é redefinida não como um gerador de respostas, mas como uma "Máquina de Contexto" (Context Machine). O sistema fundamentalmente "faz" interpretação ao consolidar pistas contextuais em representações unificadas (vetores/embeddings).
• O Círculo Hermenêutico: A avaliação deve seguir o princípio do "círculo hermenêutico", onde a compreensão das partes (tokens específicos, interações individuais) e do todo (arquitetura do modelo, contexto cultural amplo) se informam mutuamente de forma iterativa.
• Abordagem: O artigo não propõe novos algoritmos matemáticos, mas sim uma reestruturação epistemológica de como os sistemas são projetados, interpretados e avaliados, argumentando que a interpretação é inerente aos processos de entrada, arquitetura e saída da IA.

3. Principais Contribuições e Desafios Hermenêuticos

O artigo estrutura sua contribuição em torno de três desafios hermenêuticos inerentes à GenAI e três princípios para novos métodos de avaliação.

A. Os Três Desafios Hermenêuticos:

1. Situacionalidade (Situatedness): O significado só emerge em contexto. A avaliação deve reconhecer que a IA opera a partir de uma perspectiva específica e situada, e não de uma visão universal e objetiva. O significado muda conforme o quadro de referência histórico ou social.
2. Pluralidade (Plurality): Múltiplas interpretações válidas coexistem. O que é considerado "viés" em uma cultura pode ser um valor central em outra. A avaliação não deve buscar uma única solução convergente, mas sim a legitimidade de múltiplas interpretações dentro de seus respectivos contextos.
3. Ambiguidade (Ambiguity): As interpretações conflitam naturalmente. Diferente de tarefas que buscam eliminar a ambiguidade (desambiguação semântica), a produção cultural muitas vezes depende da manutenção da ambiguidade para enriquecer o significado. A avaliação deve medir a capacidade do sistema de navegar produtivamente na ambiguidade, não apenas eliminá-la.

B. Os Três Princípios para Avaliação Hermenêutica:

1. Benchmarks Iterativos, não Pontuais: A avaliação não deve ser baseada em um único prompt ou métrica escalar (ex: precisão, BLEU). Deve ser um processo iterativo que simula conversas ou evoluções de contexto, avaliando tanto o modelo como um todo quanto interações específicas.
2. Inclusão de Pessoas, não apenas Máquinas: Os benchmarks devem medir a colaboração humano-IA. A interpretação emerge da interação; portanto, a avaliação deve focar no diálogo interpretativo e nos efeitos da interação, não apenas na saída isolada do modelo.
3. Medição do Contexto Cultural, não apenas da Saída: O contexto não deve ser tratado como ruído a ser removido, mas como o meio através do qual o desempenho emerge. As avaliações devem incorporar marcadores socioculturais e normas vivas, adaptando-se a diferentes cenários de uso real.

4. Resultados e Evidências

O artigo não apresenta resultados experimentais quantitativos novos (como novos scores de precisão), mas oferece uma síntese analítica e uma revisão crítica da literatura existente para validar sua tese:

• Demonstra como os benchmarks atuais (como MMLU ou HELM) falham ao tentar padronizar a produção cultural, muitas vezes ignorando a utilidade no mundo real e a variação sociocultural.
• Cita exemplos emergentes de pesquisas que começam a adotar abordagens hermenêuticas, como avaliações de múltiplos turnos em diálogos, conjuntos de dados que incorporam normas culturais específicas (ex: diferenças entre normas chinesas e americanas em vídeos gerados por IA) e estudos sobre alinhamento pluralista.
• Argumenta que a "falha de proxy" (proxy failure) é a causa raiz dos problemas atuais: métricas padronizadas são proxies inadequados para capturar o que realmente importa em sistemas culturais.

5. Significância e Impacto

A proposta de Hermenêutica Computacional é significativa por várias razões:

• Mudança de Paradigma: Desloca o foco da IA de "geração de respostas precisas" para "parceiros interpretativos" que engajam com a complexidade do significado humano.
• Ponte Interdisciplinar: Oferece uma linguagem comum e estruturada para que pesquisadores das humanidades e da ciência da computação colaborem na avaliação de IA, permitindo que conceitos complexos de significado social sejam operacionalizados em métricas técnicas.
• Desenvolvimento Ético e Técnico: Sugere que melhorar a avaliação é o primeiro passo para melhorar o design. Ao reconhecer a cultura como fundamental e não como um adorno, os desenvolvedores podem criar sistemas que lidem melhor com viés, pluralidade e ambiguidade, resultando em tecnologias mais robustas e culturalmente sensíveis.
• Futuro da Pesquisa: Define uma agenda para o desenvolvimento de novos benchmarks que sejam iterativos, participativos e sensíveis ao contexto, essenciais para a próxima geração de sistemas de IA generativa.

Em suma, o artigo argumenta que para avaliar a IA Generativa como uma tecnologia cultural, devemos abandonar a busca por verdades absolutas e métricas universais, adotando em seu lugar uma abordagem que valorize o contexto, a interpretação humana e a negociação contínua de significado.