Research Borderlands: Analysing Writing Across Research Cultures

Este artigo propõe uma estrutura centrada no ser humano para analisar e medir normas culturais na escrita de pesquisa, utilizando entrevistas interdisciplinares para identificar diferenças estilísticas e retóricas fundamentais entre diferentes culturas de pesquisa e demonstrando como essas métricas revelam a tendência dos grandes modelos de linguagem de homogeneizar a escrita em vez de se adaptar a contextos culturais específicos.

O essencial

Imagine o mundo da pesquisa acadêmica não como uma única e gigante biblioteca, mas como uma cidade movimentada com muitos bairros diferentes. Cada bairro — como Processamento de Linguagem Natural (PLN), Aprendizado de Máquina (ML) ou Educação — tem seu próprio dialeto único, senso de moda e regras não escritas de etiqueta.

Este artigo, "Borderlands: Analysing Writing Across Research Cultures," é como um guia para navegar por esses bairros. Os autores queriam responder a uma pergunta simples: O que faz com que um artigo de pesquisa pareça pertencer a um bairro específico em vez de outro?

Aqui está um detalimento da jornada e das descobertas deles, usando analogias do cotidiano.

1. O Problema: O Tradutor "Tamanho Único"

Imagine que você é um viajante que fala um inglês perfeito. Você quer contar uma história para um grupo de agricultores em uma aldeia e depois para um grupo de banqueiros em outra. Se você contar a mesma história exatamente com as mesmas palavras para eles, os agricultores podem ficar confusos e os banqueiros podem ficar entediados.

No mundo da IA, os Grandes Modelos de Linguagem (LLMs) são como esses viajantes. Eles são ótimos em falar "inglês" (linguagem geral), mas muitas vezes têm dificuldade em entender os "dialetos" específicos de diferentes comunidades de pesquisa. A maioria dos estudos anteriores tentou medir a cultura olhando para coisas amplas como nacionalidade ou idioma (ex: "francês" vs. "inglês"). Os autores argumentam que isso é muito vago. Em vez disso, eles decidiram dar um zoom nos "bairros" específicos da ciência.

2. O Método: Perguntando aos "Superviajantes"

Para entender as regras desses bairros, os autores não apenas olharam para dados; eles conversaram com pessoas. Eles entrevistaram pesquisadores interdisciplinares — cientistas que são como "superviajantes" porque escrevem regularmente artigos para diferentes comunidades (ex: um cientista que escreve tanto para cientistas da computação quanto para médicos).

Eles perguntaram a esses especialistas: "Quando você move seu artigo de uma comunidade para outra, o que você muda?"

A partir dessas conversas, eles construíram um Mapa Cultural com quatro categorias principais de regras:

• Normas Estruturais (A Arquitetura): Qual o tamanho do artigo? Ele tem muitos gráficos (como uma história visual) ou apenas tabelas de números?
  • Analogia: Alguns bairros exigem um arranha-céu alto (artigos longos), enquanto outros preferem um chalé aconchegante. Alguns querem um jardim com estátuas (figuras), enquanto outros querem uma biblioteca de planilhas (tabelas).
• Normas Estilísticas (A Moda): Que tipo de palavras você usa? Você utiliza um jargão técnico pesado (como um uniforme) ou linguagem simples? O tom é formal (como um terno) ou casual (como jeans)?
  • Analogia: Em um bairro, dizer "minorias" pode ser um erro de moda, enquanto em outro, é o traje padrão. Em um lugar, você deve usar matemática complexa para provar um ponto; em outro, uma história simples funciona melhor.
• Normas Retóricas (A Contação de Histórias): Como você conta sua história? Você começa com números e estatísticas rígidas ou começa com uma grande ideia e uma narrativa?
  • Analogia: Algumas comunidades querem ver os "comprovantes" (números) imediatamente. Outras querem ouvir a "lenda" (a história) primeiro.
• Normas de Citação (A Lista de Convidados): Quem você menciona em sua história? Você cita os "mestres clássicos" antigos do campo ou faz referência aos tópicos mais recentes e populares?
  • Analogia: Todo bairro tem seu próprio "Hall da Fama". Se você não mencionar as pessoas certas, os moradores locais podem achar que você é um estranho.

3. O Teste: A IA consegue se Vestir para a Ocasião?

Uma vez mapeadas essas regras, os autores criaram um "conjunto de testes" (um conjunto de medições) para ver se os modelos de IA poderiam realmente segui-las. Eles pegaram a introdução de um artigo de pesquisa escrita para uma comunidade (digamos, Aprendizado de Máquina) e pediram a diferentes modelos de IA que a reescrevessem para outra comunidade (digamos, Educação).

Os Resultados: A IA é uma "Homogeneizadora de Moda"
As descobertas foram surpreendentes e um pouco preocupantes:

• A Boa Notícia: A IA foi muito boa em mudar o vocabulário. Se você pedisse para ela escrever para a Educação, ela trocaria o jargão de computação por termos de educação. Ela sabia quais "palavras" vestir.
• A Má Notícia: A IA falhou em todo o resto. Ela não apenas se adaptou; ela achatou a escrita.
  • Ela tornou tudo mais curto, independentemente de a comunidade alvo gostar de artigos longos ou curtos.
  • Ela removeu todos os gráficos e figuras, mesmo que a comunidade alvo os amasse.
  • Ela tornou o tom uniforme, removendo a "personalidade" única de cada bairro específico.

A Metáfora: Imagine que a IA é um alfaiate que, em vez de costurar uma roupa específica para uma ocasião específica, pega uma tesoura e corta todas as peças de roupa exatamente do mesmo tamanho e formato. Parece "limpo", mas não serve em ninguém adequadamente.

4. A Conclusão: Por que Isso Importa

O artigo conclui que, embora a IA esteja ficando melhor em escrever, ela atualmente carece de competência cultural. Ela tende a fazer com que toda a escrita científica pareça igual (homogeneizada), o que pode ser perigoso.

Se todos os artigos de pesquisa começarem a soar iguais, podemos perder as perspectivas únicas e os estilos de narrativa que diferentes campos trazem para a mesa. Os autores sugerem que, em vez de deixar a IA escrever o artigo para nós, devemos usá-la como uma ferramenta para nos ajudar a navegar por essas fronteiras culturais, mantendo o toque humano para garantir que o artigo se ajuste ao "bairro" que está entrando.

Em resumo: O artigo mostra que escrever para diferentes comunidades científicas é como se vestir para festas diferentes. A IA é atualmente muito boa em mudar sua camisa, mas mantém suas calças, sapatos e penteado exatamente os mesmos, fazendo você parecer fora de lugar em todas as festas.

Resumo técnico

Resumo Técnico: Fronteiras: Analisando a Escrita entre Culturas de Pesquisa

Declaração do Problema
Embora a melhoria da competência cultural das tecnologias de linguagem seja uma prioridade reconhecida, trabalhos recentes frequentemente falham ao não se engajarem com as comunidades específicas que estudam. Em vez disso, baseiam-se em configurações sintéticas e proxies imperfeitos para cultura, como nacionalidade ou idioma, que carecem de fundamentação em tarefas ou contextos culturais específicos. Consequentemente, o conceito de "cultura" na avaliação de Grandes Modelos de Linguagem (LLMs) permanece vagamente definido. Há uma necessidade crítica de compreender como as normas de escrita variam entre comunidades de pesquisa específicas e de avaliar se os LLMs podem se adaptar efetivamente a essas expectativas culturais matizadas e, muitas vezes, não documentadas.

Metodologia
Os autores adotam uma abordagem centrada no ser humano e de baixo para cima (bottom-up) para definir e medir normas culturais dentro de comunidades de pesquisa, focando especificamente na tarefa de adaptar introduções de artigos de pesquisa entre diferentes campos científicos.

1. Coleta de Dados via Métodos Mistos:

   • Pesquisa (N=78): Uma pesquisa preliminar confirmou que pesquisadores interdisciplinares frequentemente adaptam artigos para diferentes comunidades (por exemplo, após rejeição ou para se adequar a um novo periódico), sendo a seção de introdução o componente mais comumente adaptado.
   • Entrevistas (N=10): Entrevistas semiestruturadas foram conduzidas com pesquisadores interdisciplinares seniores que atuam como especialistas na navegação entre comunidades. Os participantes forneceram exemplos de seus próprios artigos reescritos para diferentes periódicos e explicaram suas estratégias de adaptação.

2. Desenvolvimento de Framework:
   Através da análise qualitativa de transcrições de entrevistas, os autores desenvolveram um framework de quatro categorias de normas culturais:

   • Normas Estruturais: Comprimento e presença de artefatos (tabelas/figuras).
   • Normas Estilísticas: Jargão/linguagem especializada, legibilidade, formalidade e verbosidade.
   • Normas Retóricas: O uso de evidência quantitativa, linguagem figurada, enquadramento (destacando valores específicos) e organização narrativa (a ordenação de contexto, objetivos, métodos e resultados).
   • Normas Citacionais: Canonicidade (citar obras fundamentais) e estilo de engajamento (ex.: uso de citações diretas).

3. Operacionalização (Suíte de Avaliação):
   Os autores traduziram este framework em uma suíte de métricas computacionais:

   • Comprimento/Artefatos: Contagem de palavras, contagem de sentenças e detecção baseada em regex de menções a tabelas/figuras.
   • Jargão: Pontuações de especificidade usando Informação Mútua Ponto a Ponto Normalizada (NPMI).
   • Formalidade: Pontuações ao nível de sentença usando um modelo DeBERTa-large ajustado no GYAFC.
   • Legibilidade: Pontuações médias de facilidade de leitura de Flesch.
   • Evidência Quantitativa: Uma configuração de LLM-como-juiz (Llama 3.1 70B) para detectar evidência numérica.
   • Organização Narrativa: Um classificador multinomial (SCIM) para categorizar funções de sentenças e medir seu desvio posicional.
   • Enquadramento: Um classificador baseado em léxico para detectar valores de pesquisa codificados (ex.: eficiência, equidade, novidade).

4. Análise Quantitativa:

   • Análise de Escrita Humana: A suíte foi aplicada a um corpus de 81.178 introduções de artigos de pesquisa de 11 comunidades de ciência da computação (ex.: NLP, ML, HCI, Educação) para evidenciar variações latentes.
   • Avaliação de LLM: Os autores avaliaram a competência cultural de cinco LLMs (GPT-3.5, GPT-4o Mini, Llama 3.1/3.3, Mistral) solicitando-os a adaptar introduções de comunidades de origem para comunidades de destino. As mudanças nos valores das métricas foram comparadas contra as distribuições reais de artigos escritos por humanos nas comunidades de destino.

Resultos Principais

• Variações na Escrita Humana: As métricas computacionais recuperaram com sucesso distintas normas culturais entre as 11 comunidades em escala. Por exemplo, artigos de Educação mostraram alta variância em legibilidade, enquanto as comunidades de ML e NLP exibiram normas fortes e consistentes em relação à quantidade de evidência quantitativa. Pontuações de especificidade (jargão) variaram significativamente, sendo a Educação a comunidade mais distinta.
• Competência Cultural de LLMs:
  • Adaptação de Vocabulário: Os LLMs adaptaram o vocabulário com sucesso, aumentando as pontuações de especificidade para corresponder às comunidades de destino.
  • Homogeneização: Em todas as outras métricas, os LLMs tenderam a mover as características em uma única direção, independentemente da comunidade de destino. Por exemplo, os modelos consistentemente encurtaram o texto, reduziram a menção de tabelas e figuras, baixaram a legibilidade e aumentaram a densidade de evidência quantitativa.
  • Falha de Adaptação: Os modelos apenas "tiveram sucesso" na adaptação quando sua tendência de homogeneização padrão coincidia com as normas da comunidade de destino (ex.: encurtar o texto para NLP, onde as introduções são naturalmente mais curtas). Em casos onde a comunidade de destino exigia textos mais longos ou arranjos estruturais diferentes (ex.: Educação), os modelos falharam em adaptar, impondo, em vez disso, um estilo uniforme.

Significância e Alegações
O artigo afirma ilustrar a eficácia de uma abordagem centrada no ser humano para medir normas culturais tanto em textos escritos por humanos quanto em textos gerados por LLMs. Ao centrar-se em membros da comunidade e focar em uma tarefa do mundo real (adaptação de escrita), os autores fornecem uma alternativa mais ecologicamente válida às abordagens de cima para baixo que dependem de proxies amplos como nacionalidade.

O trabalho destaca uma limitação significativa nos atuais LLMs de propósito geral: embora possam ajustar o vocabulário, eles têm dificuldade em aderir às nuances estruturais, estilísticas e retóricas de culturas de pesquisa específicas, tendendo, em vez disso, a homogeneizar a escrita científica. Os autores argumentam que essa homogeneização representa um risco à diversidade de ideias e estilos de escrita na comunidade científica. Eles concluem que as futuras ferramentas de escrita científica devem provavelmente focar em assistência interativa que exponha barreiras comunitárias, em vez de automatizar totalmente o processo de escrita, preservando o papel humano na moldagem dos valores da comunidade através da escrita. Os autores disponibilizaram sua suíte de avaliação em código aberto para apoiar pesquisas futuras na ciência da ciência e na avaliação da competência cultural.